Bablosoft

Нужна ваша помощь (парсинг, селекторы)

Поддержка

  • D

    Нужна помощь с браузером.

    Поддержка
    0 Votes
    4 Posts
    589 Views
    FoxF

    @kuzkuz said in Нужна помощь с браузером.:

    @Fox said in Нужна помощь с браузером.:

    @Dmitriy_meme said in Нужна помощь с браузером.:

    Надо отправить post запрос через браузер только не понимаю как, можете подсказать?

    Через действие "яваскрипт", но проще всё же перенести куки в http-клиент и сделать запрос в нём

    @Fox я далек от этой темы, но хотел бы заняться саморазвитием. Не можете ли накидать простенький пример проектик, для понимания? Спасибо огромное заранее.

    Да мне не сложно, изучайте на здоровье:
    https://learn.javascript.ru/fetch

  • M

    Как сделать многопоточный парсинг (объясните простыми словами, пожалуйста)

    Поддержка
    0 Votes
    8 Posts
    1006 Views
    tet-viviT

    @GameBot

    использовать бд.
    можно пачками получать набор ид которые еще не обработаны.
    опробовано на практике.(~15 миллионов ид/страниц)

    можно на асинхронных функциях в цикле.
    текущий N и запуск новых M. и при интеграции N = N + M.

    Чтобы этого избежать можно тупо взять и загнать в файл с 1 до последнего нужного нам id. Далее создать ресурс из файла.

    если не критично, можно исключить работу с файлом. А сразу создать ресурс и загнать туда набор ид.

  • E

    Как циклить парсинг страниц

    Поддержка
    0 Votes
    5 Posts
    1421 Views
    FoxF

    @ertoman said in Как циклить парсинг страниц:

    @fox автоматизировать сие действия.
    А именно функция обработки количества страниц в теме.
    Фунция генерирования списка урлов и созранение их в ресурс.

    вы уже составили верный алгоритм и указали название всех используемых действий, что именно не получается?

  • S

    Разгадывание reCAPTCHA. Нужна помощь

    Поддержка
    0 Votes
    7 Posts
    1387 Views
    A

    @speshalboom, ну тогда, как по мне, особой разницы между сервисами нет. Рукапча, Антигейт - то, чем сам пользовался.

  • fyyyloF

    Нужна помощь в освоении http запросов.

    Поддержка
    0 Votes
    8 Posts
    2291 Views
    xclsvX

    @Alexx said in Нужна помощь в освоении http запросов.:

    @xclsv солидарен, нынче время get post уже заканчивается для ботов сервисы все более жестче устраивают фрод, фингер и сделан для этого чтобы косить под чела чтобы под чела косить на запросах кони двинешь все это настраивать, настроишь все четко а потом тебя мило попросят пройти в бан, прижде чем ты побреешь бороду которая у тебя отросла за время создания твоего мега пост гет бота, под серьезные проекты не отделаться запросами, под парсинг чек только годно, я сам много писал на запросах сейчас отхожу к браузеру.
    скорость не равна качеству, не гонитесь за скоростью пацаны

    Всё верно. Для крупных сайтов. Мелкие часто ничего не обфусцируют и не прячут.
    Недавно писал парсер для директа. Подсунул куки и спокойно спарсил из кода нужные данные. Из выдачи яндекса всё также. Даже юзер-агент не проверяется. Не говоря уж о других параметрах.
    Для защиты сервера от левых запросов нужно норм сайт перелопатить. Далеко не каждый возьмётся. Ко всему прочему на запросах шаблоны куда надежнее работают. Так что на запросах писать таки нужно. Но без фанатизма. К примеру, когда не хватает мощности сервера или когда скрипт на браузере слишком уж нестабильно работает.