Bablosoft

Неполная загрузка страницы и продолжение скрипта

Поддержка
  • GermangoG

    Здравствуйте, временами попадаются медленные прокси, в следствии чего страница не успевает полностью прогрузиться до таймаута. Подскажите, можно как нибудь сделать, чтобы скрипт продолжал выполняться, если страница не была полностью загружена?

    alt text
    На скриншоте выше видно, что основные поля/кнопки (для авторизации) уже прогрузились. А БАС ждет полной загрузки страницы слишком долго и бьётся лбом об таймаут.

    P.S. Интересует реализация без увеличения таймаута.

    S C 2 Replies
    0
  • S

    @Germango Можешь попробовать отключить ожидание полной загрузки страницы
    0_1489070615293_2017-03-10_004153.png

    2
  • C

    @Germango Как сказал santilo убрать ожидание полной загрузки и поставить ждать появления элемента, когда появятся нужные поля, тогда скрипт продолжит работу.

    1

  • KinokioK

    Отпечатки и заголовки браузера.

    Поддержка
    0 Votes
    4 Posts
    797 Views
    FoxF

    @Kinokio said in Отпечатки и заголовки браузера.:

    @Fox да, и получать их через JSON. Но это для каждого сайта я должен писать новую функцию (т.к сайты по разному тянут данные, разве что все стабильно просят UA). Там ещё куча доп.параметров, около десятка... и так для каждого сайта.
    Так вот, есть ли способ не рутинить и не обрабатывать каждый сайт по отдельности? Типо чтоб он сам понимал что ему отправлять в этих заголовках кроме UA. Если нет, так и напишите.

    Да - использовать брузер. При работе на запросах вам придётся делать ВСЁ в ручную

  • D

    Мониторинг состояния скрипта

    Поддержка
    0 Votes
    2 Posts
    418 Views
    FoxF

    @DarckCrow said in Мониторинг состояния скрипта:

    Здравствуйте! У меня есть скрипт работающий на множестве узлах сети. Можно ли каким нибудь способом мониторить состояние отдельно взятого скрипта и если произошел сбой в работе скрипта сделать информирование допустим с помощью бота-Telegram?

    логикой внутри скрипта

  • qashQ

    Yandex metrica и google analitycs

    Поддержка
    0 Votes
    22 Posts
    4887 Views
    V

    У меня при 99% ботном трафике вообще ноль роботность )))

  • venom777V

    Стоп-слова. Парсинг и строки

    Поддержка
    0 Votes
    4 Posts
    2145 Views
    supportS

    @venom777

    Как можно сделать проверку на наличие стоп слов на: странице, в определенном участке на странице? Если стоп-слова заданы в файле и их количество >1000шт. Ну, или сравнить переменную в которой получен никнейм со списком стоп-слов (4к строк), кто-то пробовал?

    Да, я пробовал. Это делается в 2 действия "Ресурс В Список" и "Получить Индекс". Работает на 10 к списке мгновенно
    0_1479039057258_stopwords.xml

    Для того, чтобы проверить наличие слов на странице нужно сначала получить все слова на странице в список, потом сделать проверку в цикле. Если запускать в режиме "Запись", то проверка стоп слов выполняется мгновенно.
    0_1479039804112_stopwords.xml

    Из последнего проекта вы можете сделать функцию и использовать при каждой загрузке страницы.

    Как брать из файла строки мы все знаем, но как можно брать из файла предложения с сохранением форматирования? К примеру, сделать граббер новостей с сайта источника на свой сайт.

    Перед записью новости в файл вы можете кодировать ее в base64, а после чтение раскодировать(все это действием base64)

  • C

    Парсинг из кода страницы

    Поддержка
    0 Votes
    12 Posts
    5455 Views
    supportS

    Еще для перебора элементов списка можно использовать действие foreach