Парсер групп вконтакте.



  • Делюсь своим парсером групп вконтакте. Может кому пригодиться. За подсказки в плане доработки буду благодарен. В БАС я новичок, так что, возможно, многие решения делаются проще, чем у меня, однако скрипт рабочий и работает быстро.

    0_1523028002695_VKGroupPharser.xml

    Настройки такие:
    Рис. 1. Окно ввода данных.

    Количество потоков - тут всё понятно. Единственное, по дефолту скрипт запрашивает для каждого потока отдельный файл с настройками аккаунта (настройки аккаунтов описаны далее). Хотите - сделайте многопоток с одного аккаунта, только в разумных пределах, а то забанят ещё...

    Ключевое слово - слово или словосочетание, которое будет поисковым запросом на сайте.

    Путь к файлу БД - указываем свой, что писать в файле опишу ниже.

    Путь к выходным файлам - папочка, в которую будут сохраняться результаты парсинга. Неплохо было бы ещё уникализировать имена сохраняемых файлов, пока не реализовал, но думаю в конец имени файла добавлять текущую дату и время.

    С параметрами поиска тоже всё понятно, думаю, проблем не возникнет. 0 - безопасный поиск отключен, 1 - включен.

    Заполнение базы данных:
    Рис. 2. Заполнение файла с базой данных аккаунтов.

    Тут у нас тупо список ссылок на файлы, содержащие настройки аккаунтов для каждого отдельного потока. Если поток один, вам нужна всего одна строчка со ссылкой на один файл. Многопоток сделал потому, что в ближайшее время буду делать поиск по множеству ключевиков сразу, пока что скрипт работает так, что во множестве потоков его запускать бессмысленно - результат у всех потоков будет один и тот же. Когда реализую множество запросов, скину результат. Пока сам работаю только с одним потоком.

    Файл для отдельного аккаунта:
    Рис. 3. Файл данных отдельного аккаунта.
    Первая строка - прокси:порт.
    Вторая строка - наш логин в вк.
    Третья строка - пароль от вк.
    Четвёртая и пятая - ширина/высота дисплея (для уникализации).

    Планирую ещё каждому акку настроить рандомный отпечаток браузера, чтобы уж совсем комильфо было.

    Пока так. Пользуйтесь, дорабатывайте.

    Если кому-то понравилась моя фишка с называнием переменных по имени содержащей их функции - берите на вооружение, существенно облегчает поиск нужной переменной или отладку функции когда много "кода")))



  • Да, и у меня там грамматическая ошибка в слове "parser", но не думаю что русскоязычную аудиторию это будет смущать)))