Bablosoft

Парсинг нескольких URL одного домена

Поддержка

  • I

    Как из одного потока, закрыть другой?

    Поддержка
    0 Votes
    19 Posts
    2376 Views
    I

    @Fox Кажется этот вариант мне подходит.

    Спасибо огромное.

    По результатам отпишу тут.

  • ReversR

    Как в действие "Первое вхождение" прописать регулярку из нескольких строк?

    Поддержка
    0 Votes
    2 Posts
    541 Views
    FoxF

    @Revers said in Как в действие "Первое вхождение" прописать регулярку из нескольких строк?:

    Как в действие "Первое вхождение" прописать регулярку из нескольких строк?
    На странице регистрации 5 строк с разными токенами, только 2 из них верные. Все строки одинаковые:

    <input name="__RequestVerificationToken" type="hidden" value="(.*?)"

    Чтобы взять нужный токен, нужно захватить верхнюю строку. Но если прописать

    action="\/account\/register" method="POST"> <input name="__RequestVerificationToken" type="hidden" value="(.*?)"

    в поле "Регулярное выражение" действия "Первое вхождение", то не срабатывает действие, видимо из-за переноса строк. Как правильно прописать?

    Для парсинга html используйте xpath

  • A

    Парсинг regex как сделать правильно?

    Поддержка
    0 Votes
    4 Posts
    1398 Views
    FoxF

    @avtopars

    я не нашел список->в ресурс разве циклом по 1 элементу брать с списка и писать в ресурс.

    Именно так, в режиме запуска это происходит мгновенно.

    Только смысл сего действа если можно было изначально так делать.

    Xpath выдаёт результат надёжнее регулярки и быстрее, да и потребляет меньше ресурсов (хоть я и люблю регулярки :D)

    А русурс нужен чтоб многопотоком после пройтись по всем ссылкам(как я понимаю список для этого не пригоден)

    Можно ещё список записать в глобальную переменную и он будет виден всем потокам. Но чтобы потоки не брали одинаковые значения, идеально подойдёт ресурс.

  • teamgameT

    AliExspress. Парсинг отзывов. Глючит xPath! [решено]

    Поддержка
    0 Votes
    3 Posts
    1287 Views
    supportS

    @teamgame Не знаю, что вы хотите спарсить, но перед >FRAME> нужно задать путь к фрейму

    >FRAME> >XPATH> //div[@class="feedback-item clearfix"]

    http://wiki.bablosoft.com/doku.php?id=ru:how_to_search_for_element#фреймы

  • R

    Не загружает URL

    Поддержка
    0 Votes
    13 Posts
    6237 Views
    supportS

    @Ravil said:

    А как всё-таки правильнее всего организовать цикл, чтобы программа брала из файла по одной строчке, и когда строчки заканчивались, завершала цикл?

    Чтобы выполнять действия в цикле нужно убрать галку "Повторное использование" при использования ресурса. Но при этом невозможно использовать многопоточность.
    alt text
    alt text
    alt text
    alt text
    ForEachInFile.xml

    @Ravil said:

    И ещё - почему-то из файла каждый раз забирается только первая строчка, остальные не грузятся:

    http://prntscr.com/asv10e

    Почему так может быть?

    Потому что успешных выполнений выставлено в 1.
    Выставь "Максимальное число удачных запусков" в 10000 и скрипт закончится когда закончатся строки в файле.
    Еще можно выставить количество потоков и автоматически появится могопоточность.
    Подробнее