Bablosoft

парсинг эмаил

Поддержка

  • I

    Как сделать сон и парсинг

    Moved Поддержка
    0 Votes
    4 Posts
    849 Views
    ?

    @bordachenkov said in Как сделать сон и парсинг:

    , что должны быть чел. факторы, но на то он и бас чтобы их сделать. Человек может спрашивает как это внедрить именно кодом, самому интересно

    При входе получаем дату. Из даты часы.
    Это у нас исходное время.

    К этому времени добавляем к примеру 3-4 часа. Это переменная выход.

    alt text

    Далее после того как мы выполнили все действия, снова проверяем время, если оно совпадает с переменной выхода, то выполняем действия.

    alt text

  • I

    Как организовать быстрый парсинг страниц на содержание текста?

    Поддержка
    0 Votes
    8 Posts
    1008 Views
    I

    Все сделал, но возникли проблемы. Скрипт нужен чтобы искать на какой странице Etsy находится товар.
    С помощью Get запроса я получаю код страницы, ищу там товар IndexOf.

    В итоге находит на какой-то странице товар, открывает эту страницу в БАСе как обычно браузером, и в 50% товар там, а в 50% нет (при этом если через браузер найти страницу с товаром, то в этом случае уже Get запрос ее на той странице не находит).

    В чем может быть проблема и как ее решить?

    Или может быть можно как-то с помощью get запроса кликнуть по товару, не заходя через браузер на эту страницу?

  • M

    Как сделать многопоточный парсинг (объясните простыми словами, пожалуйста)

    Поддержка
    0 Votes
    8 Posts
    1361 Views
    tet-viviT

    @GameBot

    использовать бд.
    можно пачками получать набор ид которые еще не обработаны.
    опробовано на практике.(~15 миллионов ид/страниц)

    можно на асинхронных функциях в цикле.
    текущий N и запуск новых M. и при интеграции N = N + M.

    Чтобы этого избежать можно тупо взять и загнать в файл с 1 до последнего нужного нам id. Далее создать ресурс из файла.

    если не критично, можно исключить работу с файлом. А сразу создать ресурс и загнать туда набор ид.

  • E

    Как циклить парсинг страниц

    Поддержка
    0 Votes
    5 Posts
    1708 Views
    FoxF

    @ertoman said in Как циклить парсинг страниц:

    @fox автоматизировать сие действия.
    А именно функция обработки количества страниц в теме.
    Фунция генерирования списка урлов и созранение их в ресурс.

    вы уже составили верный алгоритм и указали название всех используемых действий, что именно не получается?

  • zombroidZ

    Помогите реализовать XPATH парсинг или иной.

    Поддержка
    0 Votes
    9 Posts
    3610 Views
    zombroidZ

    @support а всё, уже разобрался со списками по другим топикам)