Странно работает браузер.

[Hexagon]

Ничего не понимаю. Есть 2 проблемы.

1. Есть 200 прокси, каждый раз запуская проверку их (заход на любой сайт), у примерно 50 (Цифра всегда разная, когда 30, когда 60) возникает ошибка "Не удалось загрузить станицу, причём всегда у разных прокси. (Все прокси приватные, рабочие 100%).
2. Очень часто ловлю ошибку "Таймаут", сколько его не выставлял (до 300сек), всё равно ошибка. Так же пробовал через "Ожидание элемента", всё так же. Хотя в обычном браузере страница грузится секунд 10-20.

И ещё вопрос, "Запретить запрос" насколько я понял работает только на 1 загрузку страницы. Можно ли как-то его установить для всех загрузок в потоке. А то если в потоке надо зайти на 10 разных страниц, каждый раз надо прописывать маски и выключать всплывающие окна.

[olegtut]

@Hexagon said in Странно работает браузер.:

жно ли как-то его установить для всех загрузок в потоке.

"Запретить запрос" работает на загрузку всех страниц. Просто установи этот параметр вначале скрипта. Во-первых, точно установи тип прокси http или СОКИ5. Во-вторых, будь готов к тому, что если твой инет не айс, то даже самые восхитительные прокси, а тем более в многопотоке, работать будут плохо.

[Hexagon]

@olegtut Спасибо. Я так понимаю "Запретить всплывающие окна" тоже 1 раз в начале скрипта? Мой интернет - приём 75мб/c и отдача 90мб/c, вроде бы нормальный. Тема с прокси то работает всё нормально, то есть все прокси проходят проверку, то ошибка "Не удалось загрузить".

[35xakers]

@Hexagon Лучше ждать определенный элемент на странице, а не загрузку всей

[Hexagon]

@35xakers Ты перечитай 2ой пункт...

[venom777]

Мне кажется просто бас не вывозит в определенных ситуациях.

У меня например тоже необъяснимые подвисания как самого скрипта так и отдельно интерфейса базы + не могу корректно настроить работу с базой =(

Работает в 200-300 потоков, иногда использует браузер, много json, немного регулярок и xpath.
Как итог частенько видно not responding в диспетчере и еще стоит у меня restart on crash (ибо бас с этим скриптом падает стабильно раз в 6 часов) и restart on crash каждые 3 секунды показывает что процесс упал
Вот видео
Проект у меня большой поэтому скорее всего и проблемы такие... локальные)

[olegtut]

@venom777
То же самое, что сказать: "Велосипед не крутиться быстрее". Велоспортсмен будет ехать на нем быстрее, а обычный человек медленно. Под велоспортсменом понимаю мощный комп. БАС - всего лишь оболочка автоматизации, ядро, требующее внешних данных с вашего компа: мощность, скорость инета, информацию. Базис не может работать медленно, а вот надстройка - запросто.

[romanbiz]

@Hexagon вы пробовали уменьшать количество потоков? Чтобы выяснить проблема в железе или софте.

[Fox]

@venom777 said in Странно работает браузер.:

Мне кажется просто бас не вывозит в определенных ситуациях.

У меня например тоже необъяснимые подвисания как самого скрипта так и отдельно интерфейса базы + не могу корректно настроить работу с базой =(

Работает в 200-300 потоков, иногда использует браузер, много json, немного регулярок и xpath.
Как итог частенько видно not responding в диспетчере и еще стоит у меня restart on crash (ибо бас с этим скриптом падает стабильно раз в 6 часов) и restart on crash каждые 3 секунды показывает что процесс упал
Вот видео
Проект у меня большой поэтому скорее всего и проблемы такие... локальные)

Это распространённая проблема с базой. Я уже поднимал тему на этот счёт. Решение элементарное, нужно перед каждым блоком обращение к базе ставить сон, хотябы на 100мс. И зависания исчезают.

[Fox]

@Hexagon Если прокси Украинские, то они могут блокировать яндекс метрику, а сайт будет сидеть и ждать. Попробуй запретить запрос на яндекс.

[Hexagon]

@Fox Всё прокси русские (Мск и Спб).

[Hexagon]

@romanbiz Конечно, изначально работал в 10 потоках (что как бы тоже не много, но мне хватает), потом при ошибке, попробовал в 1 поток, результаты одинаковы. Причём как я и говорил: "Раз на раз не приходиться", то всё нормально, то какие-то проблемы.

[support]

@Hexagon Сможете поймать ошибку в режиме записи и прислать network_log?

[support]

@venom777

Мне кажется просто бас не вывозит в определенных ситуациях.

Мне нужно как-то повторить это все. На видео я вижу только какой-то софт, который постоянно пишет crushed. Пришлите скрипт, данные, которые он использует.

ибо бас с этим скриптом падает стабильно раз в 6 часов

Присылайте дамп, я это быстро исправлю.

https://bablosoft.com/distr/BrowserAutomationStudioDevelopment/debug.18.7.0.zip

Нужно запустить и после падения прислать файл crashdump.dmp

[support]

@venom777

Присылайте дамп на почту, я всегда заинтересован в том, чтобы править такие ошибки как можно быстрее.
mail.to.twaego@gmail.com
Кроме того, в последнем билде появился профайлер, можно посмотреть, какие действия особенно ресурсоемкие.

http://community.bablosoft.com/post/16933