Bablosoft

Нужна ваша помощь (парсинг, селекторы)

Поддержка

  • C

    Нужна помощь в обходе антифрода при входе на сайте

    Поддержка
    1 Votes
    5 Posts
    376 Views
    m4zuperM

    Не давало зарегистрировать аккаунт, пока не начал использовать perfectcanvas, посмотрите в эту сторону. Прокси при этом были резидентские, гео КЗ. Также если сами регистрируете аккаунты, то попробуйте использовать профили.

  • Q

    SmormitSoft/окажите помощь в настройке и эсплуатации

    Поддержка
    0 Votes
    3 Posts
    668 Views
    ?

    @qwerty5130 Обращайтесь к автору скрипта

  • M

    Как сделать многопоточный парсинг (объясните простыми словами, пожалуйста)

    Поддержка
    0 Votes
    8 Posts
    1355 Views
    tet-viviT

    @GameBot

    использовать бд.
    можно пачками получать набор ид которые еще не обработаны.
    опробовано на практике.(~15 миллионов ид/страниц)

    можно на асинхронных функциях в цикле.
    текущий N и запуск новых M. и при интеграции N = N + M.

    Чтобы этого избежать можно тупо взять и загнать в файл с 1 до последнего нужного нам id. Далее создать ресурс из файла.

    если не критично, можно исключить работу с файлом. А сразу создать ресурс и загнать туда набор ид.

  • F

    js парсинг

    Поддержка
    0 Votes
    7 Posts
    1711 Views
    ?

    @cruzel Копипастил наскоряк )

  • fyyyloF

    Нужна помощь в освоении http запросов.

    Поддержка
    0 Votes
    8 Posts
    2701 Views
    xclsvX

    @Alexx said in Нужна помощь в освоении http запросов.:

    @xclsv солидарен, нынче время get post уже заканчивается для ботов сервисы все более жестче устраивают фрод, фингер и сделан для этого чтобы косить под чела чтобы под чела косить на запросах кони двинешь все это настраивать, настроишь все четко а потом тебя мило попросят пройти в бан, прижде чем ты побреешь бороду которая у тебя отросла за время создания твоего мега пост гет бота, под серьезные проекты не отделаться запросами, под парсинг чек только годно, я сам много писал на запросах сейчас отхожу к браузеру.
    скорость не равна качеству, не гонитесь за скоростью пацаны

    Всё верно. Для крупных сайтов. Мелкие часто ничего не обфусцируют и не прячут.
    Недавно писал парсер для директа. Подсунул куки и спокойно спарсил из кода нужные данные. Из выдачи яндекса всё также. Даже юзер-агент не проверяется. Не говоря уж о других параметрах.
    Для защиты сервера от левых запросов нужно норм сайт перелопатить. Далеко не каждый возьмётся. Ко всему прочему на запросах шаблоны куда надежнее работают. Так что на запросах писать таки нужно. Но без фанатизма. К примеру, когда не хватает мощности сервера или когда скрипт на браузере слишком уж нестабильно работает.