Повторная проверка вариантов, который отработали с ошибкой



  • Здравствуйте.
    БАС шикарный софт для парсинга данных.
    Но сталкиваюсь с проблемой.
    Загружаю поисковые запросы, скажет тысяч 10 в файл.
    Какие-то страницы бывает не подгружает (с чем связано не ясно, вот такие лаги бывают). Прокси не юзаю, доступ к интернету не падает. Пока не понимаю, с чем связано.
    И в логах приходится отлавливать какие запросы выполнены с ошибкой (я для этого каждый запрос перед началом работы вывожу в лог).
    Есть ли варианты:

    1. Ошибный запрос, котоырй берем из файлы загружать в отдельный файл, если произошла ошибка на как-то из этапов парсинга.
    2. Идеальный вариант. Повторно парсить страницу.

    Буду признателен за помощь.


  • administrators

    @info2010 Работаете в браузере или на запросах? Какое количество потоков? При больших нагрузках может не справляться маршрутизатор.

    1. Используйте "игнорирование ошибок" и условия
    2. Так же, через "игнорирование ошибок".

    Вот тестовый скрипт



  • Работает в браузере в 1 потоке.