не уверен в какой раздел эту тему пихнуть, оставлю здесь, если чо перенесите куда надо
вопрос такой - через бас делаю всякое разное на разных сайтах, но обратил внимание что когда ставишь больше 5-6 потоков с сайтом начинается твориться что-то странное. Один просто переставал выдавать какие-то страницы с инфой через 10-20минут с начала работы, и продолжал работу только через 30-60минут отдыха. Другие сайты так же глючили, какие-то наворачивались через 3 дня работы в 15 потоков я так понимаю там админ кипиш наводил, ибо на самой странице ни капчи не было, ничего, соответственно "до меня" они не проверяли ничего и врядли стояли какие-то лимиты.
Сейчас методом экспериментов понял - ставишь 5-6 потоков макс и тогда нормально работает месяцами без проблем, стучит, вбивает, собирает инфу и т.д.
Недавно стал еще отключать загрузку картинок, чтобы меньше дрочить и сам сайт и своего провайдера и впн и комп и бас.
вопросы следующие:
Какие еще улучшения можно сделать чтобы максимально облегчить нагрузку на таргет-сайт чтоб он нормально себя чувствовал и не жаловался админу
Как-то можно вычислить\предположить сколько потоков будет реально нормально работать? Ну там например по количеству месячного траффика как-то прикинуть, а то вдруг можно и 100 потоков поставить, а я стесняюсь? Заинтересовался потому что сейчас надо прочекать 500к записей, а с моими 6 потоками на это уйдет 2 месяца
В планах перейти на работу через гет\пост запросы, так думаю намного лучше будет, но тут бы сначала нормально с UI баса разобраться полностью для начала как и что работает, перед тем как идти дальше
Вобщем буду рад любым советам и мнениям
F Fox moved this topic from Запросы функционала on
нашел такой пост, буду пробовать оптимизировать все остальное
@mik888em Постарайтесь оптимизировать скрипт.
https://wiki.bablosoft.com/doku.php?id=ru:how_to_optimize_script
ну это в плане работы самой программы. а кто что скажет по поводу возможного количества потоков как прикинуть\рассчитать?
наконец-то перешел с временных профилей на постоянные(просто для скачки инфы там где не проверяют ничего) - есть разница, хотя бы в том что 70% файлов не загружаются каждый раз по-новой, а достаются из кеша профиля. сразу заметно КПД поднялся в разы, хотя для этого пришлось разобраться с настройками бас. вчера дошел до этих настроек, посмотрел и о**ел разница объема скачивания почти в 10 раз с отключенным и включенным кешем
осталось разобраться как попроще блочить ненужные скрипты и прочие картинки отсюда, буду пинать чат жпт посмотрим что он мне расскажет)
сюда же для записи добавлю
@Ajshma said in Выпущена 24.0.2 версия BrowserAutomationStudio:
@travkin на счет тормозов. Делюсь:
Основные методы оптимизации работы в многопотоке:
- Отключение картинок
- Пауза между потоками от 5 секунд
- Производительность браузера 10
- Уменьшение масштаба браузера
- Очистка лога через каждые 1-3 секунды
