Bablosoft

Цикл в xpath

Поддержка

  • H

    Картинки в сценарии

    Поддержка
    0 Votes
    5 Posts
    1049 Views
    H

    Спасибо, не знал.

  • brotokB

    Как проверить, есть ли url из переменной в списке url (в файле .txt)?

    Поддержка
    0 Votes
    2 Posts
    1038 Views
    FoxF

    @brotok said in Как проверить, есть ли url из переменной в списке url (в файле .txt)?:

    Хочу написать парсер новых объявлений.
    В день добавляется не много объявлений - около 10 штук.

    Как собрать все ссылки (изначально) со страницы - я знаю.
    НО вопрос в том - как их дальше фильтровать (новая или старая ссылка).

    Я бы мог записать ссылки изначально в файл txt а потом периодически обновлять страницу - и надо проверять - ЕСТЬ ЛИ ЭТА ССЫЛКА УЖЕ В ФАЙЛЕ .TXT ИЛИ НЕТ.

    Вот как это сделать- вопрос - и не понятно как сделать? Желательно напишите самый простой вариант..

    Читайте файл в список и используйте действие "Содержит"

  • E

    Поместить переменную в квадратные скобки в expression

    Поддержка
    0 Votes
    3 Posts
    1115 Views
    E

    Да, так работает) Огромное Вам спасибо!

  • L

    сомнение в интерфейсе

    Moved Поддержка
    0 Votes
    4 Posts
    1283 Views
    L

    @root said in сомнение в интерфейсе:

    <span style = 'color: green'> Модуль 1 (START SESSION) </ span>

    Нет, я не мог этого сделать. Но спасибо за помощь!

  • B

    Многопоток в парсинге.

    Поддержка
    0 Votes
    15 Posts
    4675 Views
    CruzelC

    @Bonifazzziy смотрите, идея того алгоритма, который я предложил:

    В функции OnApplicationStart происходит заполнение ресурса Page нужными номерами страницы. К примеру нужны нам с 1 по 10 страницу. С помощью цикла FOR с 1 до 10 мы добавляем в ресурс такие элементы: 1, 2 , 3 ,4 , 5 и т.д. Потом мы уже в цикле, где парсятся данные (где у вас идёт блок Загрузить, и т.д.) в адресе страницы указываем http://site.ru/users?page={{Page|notreuse}} ну или по другому, смотря какая у вас именно ссылка. Ресурс выдаёт вам номер страницы, и эти страницы не будут повторяться между потоками. Вы получаете нужные данные в многопотоковом режиме.

    Вообще для всех данных я рекомендую использовать ресурсы, потому что с ними не будет проблем при многопотоковой работе.
    Думаю позже сделать свой блог, там буду подробно об этом рассказывать.