Bablosoft

Парсер

Поддержка
  • K

    Сделал парсер. Если его запускать пошагово, все работает. Но если сделать полный запуск не работает. То тайм аут загрузки выдает (хотя таймаут уже сделал 10 мин), то не выполняется условие, которое необходимо. В чем дело? Это БАС плохо работает?

    supportS 1 Reply
    0
  • supportS

    @kursantmed

    Без конкретных ошибок мне тяжело ответить.
    Попробуйте выставить ожидание полной загрузки в тех местах где страница перегружается.

    То тайм аут загрузки выдает (хотя таймаут уже сделал 10 мин)

    Если страница слишком нагруженная запретите картинки либо запретите ожидание полной загрузки http://prnt.sc/d5i9e0

    Быстрый способ решить любые проблемы с антидетект https://community.bablosoft.com/topic/12198

    0

  • E

    Парсер twitter ленты

    Поддержка
    0 Votes
    7 Posts
    1464 Views
    N

    @Fox рабрался во всем . Сделал просто 5 раз нажатие на скрол вниз, что бы оставалось 5-8 данных которые повторяются в новой итерации

  • P

    Парсер в гугле определенных сайтов

    Поддержка
    0 Votes
    13 Posts
    2572 Views
    V

    @pro100sata said in Парсер в гугле определенных сайтов:

    @vvtex чучуть не то.... очень мало так ищет....

    [index.php?/Tickets/Submit]
    Результатов: примерно 46 (0,33 сек.)

    Парсил гугл с одного IP ?)) попробуй
    запросы типа [index.php?/Tickets/Submit] и тут подставляй перебор ааа-zzz

  • P

    Парсер Google

    Поддержка
    0 Votes
    25 Posts
    12418 Views
    S

    @pro100sata есть 2-е базы. 1-я база(список) слов, словарей, цифр, да что угодно, лишь бы гугл отдавал результат. 2-й список - это ваш признаки, которые насобирали. Методом перебора подставляется для каждого элемента 1-го списка, каждый элемент 2-го списка.
    Если взять цифры первым списком, запросы:
    1 "index.php/customer-service"
    1 "/index.php/admin/index/"
    1 "/?___from_store=id"
    1 "/?___store="
    ...

    2 "index.php/customer-service"
    2 "/index.php/admin/index/"
    2 "/?___from_store=id"
    2 "/?___store="

    гугл ищет совпадения на странице, что было 2(в тексте, в тайтле, в юрл, где угодно) + дополнительный пареметр (index.php/customer-service). Выдаст что-то похожее к тому что нужно + куча шлака, который прийдется убирать.
    Для того чтобы собрать как можно больше, используются всякие разные базы. А ваша база с признаками остается одна и таже.
    Используйте вместо первой базы, базу слов, дат или кучу другого, для того что именно, нужно проанализировать движок и узнать, что у них всех есть общего, например дата, но у всех она разная. Можно список дат самому в екселе сделать определенного формата и использовать базу с ними.

  • A

    HidemeParser. Парсер прокси.

    Поддержка
    0 Votes
    2 Posts
    1311 Views
    FoxF

    @assd Чаще используйте поиск
    BrowserAutomationStudio\apps\20.9.2\examples

  • IvanGI

    Помогите с циклами. Парсер твиттера.

    Поддержка
    0 Votes
    32 Posts
    9749 Views
    servasw45S

    @fox , спасибо.
    И читал же где то тут на форуме про это "Получить Количество Элементов", но не мог найти, так как в окне БАС есть "Количество Элементов" только в HTTP-клиент, Xpath и Список которые мне не совсем подходят.
    А оказывается надо через контекстное меню в выпадающем списке выбирать.