Странно работает браузер.



  • Ничего не понимаю. Есть 2 проблемы.

    1. Есть 200 прокси, каждый раз запуская проверку их (заход на любой сайт), у примерно 50 (Цифра всегда разная, когда 30, когда 60) возникает ошибка "Не удалось загрузить станицу, причём всегда у разных прокси. (Все прокси приватные, рабочие 100%).
    2. Очень часто ловлю ошибку "Таймаут", сколько его не выставлял (до 300сек), всё равно ошибка. Так же пробовал через "Ожидание элемента", всё так же. Хотя в обычном браузере страница грузится секунд 10-20.

    И ещё вопрос, "Запретить запрос" насколько я понял работает только на 1 загрузку страницы. Можно ли как-то его установить для всех загрузок в потоке. А то если в потоке надо зайти на 10 разных страниц, каждый раз надо прописывать маски и выключать всплывающие окна.



  • @Hexagon said in Странно работает браузер.:

    жно ли как-то его установить для всех загрузок в потоке.

    "Запретить запрос" работает на загрузку всех страниц. Просто установи этот параметр вначале скрипта. Во-первых, точно установи тип прокси http или СОКИ5. Во-вторых, будь готов к тому, что если твой инет не айс, то даже самые восхитительные прокси, а тем более в многопотоке, работать будут плохо.



  • @olegtut Спасибо. Я так понимаю "Запретить всплывающие окна" тоже 1 раз в начале скрипта? Мой интернет - приём 75мб/c и отдача 90мб/c, вроде бы нормальный. Тема с прокси то работает всё нормально, то есть все прокси проходят проверку, то ошибка "Не удалось загрузить".



  • @Hexagon Лучше ждать определенный элемент на странице, а не загрузку всей



  • @35xakers Ты перечитай 2ой пункт...



  • Мне кажется просто бас не вывозит в определенных ситуациях.

    У меня например тоже необъяснимые подвисания как самого скрипта так и отдельно интерфейса базы + не могу корректно настроить работу с базой =(

    Работает в 200-300 потоков, иногда использует браузер, много json, немного регулярок и xpath.
    Как итог частенько видно not responding в диспетчере и еще стоит у меня restart on crash (ибо бас с этим скриптом падает стабильно раз в 6 часов) и restart on crash каждые 3 секунды показывает что процесс упал alt text
    Вот видео
    Проект у меня большой поэтому скорее всего и проблемы такие... локальные)



  • @venom777
    То же самое, что сказать: "Велосипед не крутиться быстрее". Велоспортсмен будет ехать на нем быстрее, а обычный человек медленно. Под велоспортсменом понимаю мощный комп. БАС - всего лишь оболочка автоматизации, ядро, требующее внешних данных с вашего компа: мощность, скорость инета, информацию. Базис не может работать медленно, а вот надстройка - запросто.



  • @Hexagon вы пробовали уменьшать количество потоков? Чтобы выяснить проблема в железе или софте.



  • @venom777 said in Странно работает браузер.:

    Мне кажется просто бас не вывозит в определенных ситуациях.

    У меня например тоже необъяснимые подвисания как самого скрипта так и отдельно интерфейса базы + не могу корректно настроить работу с базой =(

    Работает в 200-300 потоков, иногда использует браузер, много json, немного регулярок и xpath.
    Как итог частенько видно not responding в диспетчере и еще стоит у меня restart on crash (ибо бас с этим скриптом падает стабильно раз в 6 часов) и restart on crash каждые 3 секунды показывает что процесс упал alt text
    Вот видео
    Проект у меня большой поэтому скорее всего и проблемы такие... локальные)

    Это распространённая проблема с базой. Я уже поднимал тему на этот счёт. Решение элементарное, нужно перед каждым блоком обращение к базе ставить сон, хотябы на 100мс. И зависания исчезают.



  • @Hexagon Если прокси Украинские, то они могут блокировать яндекс метрику, а сайт будет сидеть и ждать. Попробуй запретить запрос на яндекс.



  • @Fox Всё прокси русские (Мск и Спб).



  • @romanbiz Конечно, изначально работал в 10 потоках (что как бы тоже не много, но мне хватает), потом при ошибке, попробовал в 1 поток, результаты одинаковы. Причём как я и говорил: "Раз на раз не приходиться", то всё нормально, то какие-то проблемы.



  • @Hexagon Сможете поймать ошибку в режиме записи и прислать network_log?



  • @venom777

    Мне кажется просто бас не вывозит в определенных ситуациях.

    Мне нужно как-то повторить это все. На видео я вижу только какой-то софт, который постоянно пишет crushed. Пришлите скрипт, данные, которые он использует.

    ибо бас с этим скриптом падает стабильно раз в 6 часов

    Присылайте дамп, я это быстро исправлю.

    https://bablosoft.com/distr/BrowserAutomationStudioDevelopment/debug.18.7.0.zip

    Нужно запустить и после падения прислать файл crashdump.dmp



  • @venom777

    Присылайте дамп на почту, я всегда заинтересован в том, чтобы править такие ошибки как можно быстрее.
    mail.to.twaego@gmail.com
    Кроме того, в последнем билде появился профайлер, можно посмотреть, какие действия особенно ресурсоемкие.

    http://community.bablosoft.com/post/16933


Log in to reply