Bablosoft

как не вызвать подозрение при открытии страниц

Поддержка
  • X

    Добрый день. Вопрос появился. Есть большое количество страниц на одном ресурсе, которые надо постоянно проверять (смотреть, не появилась ли нужная информация). как построить работу программы, что бы не вызвать подозрение, что смотрит бот или вообще не приняли за DDOS атаку? Меня наверное интересует больше временные данные, которые надо установить у ресурса, в частности - интервал использования. Количество потоков 30. Страницы смотреть желательно, чем чаще тем лучше. Страницы легкие и открываются очень быстро, так как там нет картинок, там один голый текст. И вообще не знаете, что бы за DDOS атаку приняли это сколько потоков надо одновременно запустить?
    Благодарю за внимание.

    ? 1 Reply
    0
  • ?

    @xozain Это все проверяется опытным путем не возможно знать, что происходит на стороне сервера. Чаще всего сервер при превышении лимита будет отдавать http статус 500, 502 в худшем случае просто забанит ip через фаервол и тп, но обычно есть ограничение по времени таких санкций.

    0

  • Y

    не парсится строка

    Поддержка
    0 Votes
    2 Posts
    2183 Views
    Y

    Сделал сначала очистку строки с удалением символа "
    Потом спарсил уже очищенную строку - сработало как нужно
    Но мне интересно, а почему без этого не получалось?

  • K

    Как обойти проверку браузера при каждом открытии нового урл

    Поддержка
    0 Votes
    26 Posts
    3229 Views
    sergerdnS

    @UserTrue said in Как обойти проверку браузера при каждом открытии нового урл:

    Это ни разу не решение, браузер будет использоваться в каждом потоке. Когда нужно большое число потоков, либо частая смена прокси это решение не подойдет. К тому же нужно загрузить какую-нибудь страницу сайта, чтобы не было проблем с CORS

    Да почему же, в каких-то случаях вполне себе решение. Зависит от задачи.

    открыл сайт в браузере кодом быстро получил стопиццот страниц сайта. сохранил их(видел недавно ровно такую задачу на форуме)

    @UserTrue said in Как обойти проверку браузера при каждом открытии нового урл:

    Там в куках сигнатура, которая как мне кажется создана на основе данных проверки браузера и ssl отпечатка.

    Вероятно, а моя гипотеза выше насчет анализа TCP/IP была неверной. Несмотря на то, что если бы они так сделали - это был бы максимально надежный путь, но они не сделали.

    Не будет повторной проверки на бота, если:

    открыть страницу сайта, скопировать все кукисы закрыть браузер открыть тот же браузер, вставить скопированные кукисы ранее открыть нужный сайт

    Выходной ip, user agent, etc не пробовал менять на предпоследнем этапе ради теста.

  • kolanthonyK

    как реализовать

    Поддержка
    0 Votes
    3 Posts
    609 Views
    FoxF

    @kolanthony said in как реализовать:

    в общем если пропадает интернет, то скрипт продолжает работать и летят ошибки, как сделать если инет пропал скрипт отрубался?

    Создай функцию для проверки интернета и вызывай её переодически, или при возникновении ошибки. Если функция вернула результат, что интернета нет совсем, то прекращай работу скрипта действием "Прервать Скрипт"

  • M

    Идеальная синхронизация - как?

    Поддержка
    0 Votes
    6 Posts
    950 Views
    FoxF

    @Mentall said in Идеальная синхронизация - как?:

    @Fox да, про возможность использования действий типа "читать файл" я не подумал. Спасибо! Покопаю в эту сторону. Со сном просто есть такая беда, что из-за сетевых задержек начало сна в потоках будет не одновременное, соответственно, на какие-то доли секунды будет отличаться и его окончание и срабатывание последующего действия.Вот если бы реализовать сон не по таймеру, а в зависимости от какого-то триггера, частоту запроса которого можно было бы настроить, было бы здорово.

    Если позволяет задача - используйте время. То есть если можно заранее, секунд за 5 знать, что нужно будет запустить выполнение задачи одновременно всем потокам, то можно просто каждому потоку вычесть текущее время из времени указанного в глобальной переменной и использовать результат в действии "сон"

    Про сон меньше секунды для цикла, можете прочитать тут
    https://community.bablosoft.com/topic/5643/как-спать-меньше-секунды

  • G

    авторизация на сайтах, можно ли как то сделать так что бы после перезапуска браузера снова не просило авторизацию?

    Поддержка
    0 Votes
    14 Posts
    2410 Views
    PragmatikP

    @playful в BAS есть режим записи для создания скрипта (ТОЛЬКО ДЛЯ НАПИСАНИЯ!) и режим запуска для работы скрипта. Так вот, в режиме запуска всё работает и скрипт не останавливается. Так что не стоит запускать его в режиме записи - для этого есть запуск.