GET запрос 50 потоков нагрузка 90-100%

[tet-vivi]

@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:

@tet-vivi
Этот же ПК на python в 1000 потоков без всякой нагрузки на проц нормально работает

можно подключать C#, Node и др. к BAS и реализовывать часть на них.

[A Former User]

@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:

@tet-vivi
Этот же ПК на python в 1000 потоков без всякой нагрузки на проц нормально работает

А теперь напишите на питоне софт подобный бас и сравним

[tet-vivi]

@UserTrue said in GET запрос 50 потоков нагрузка 90-100%:

@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:

@tet-vivi
Этот же ПК на python в 1000 потоков без всякой нагрузки на проц нормально работает

А теперь напишите на питоне софт подобный бас и сравним

без эмуляции хрома? (он тестит на простых get запросах)
@inotoxic, попробуй имитацию человека сделать на python с эмуляцией хрома.(хотя есть есть реализации этого, но разработа будет дольше и сложнее)

[inotoxic]

@UserTrue
Смысл не втом что-бы сделать софт на питоне
А понять почему такая разница в работе - вернее нагрузка на проц

[inotoxic]

@tet-vivi
Селениум и пайавтогуи думаю могут решить какие-то вопросы
.. и опять же вопрос не в эмуляции действий

[inotoxic]

@tet-vivi
Если не ошибаюсь C# можно подключить только в платной версии ?

[tet-vivi]

@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:

@UserTrue
Смысл не втом что-бы сделать софт на питоне
А понять почему такая разница в работе - вернее нагрузка на проц

надо смотреть исходники. для прем. исходники открыты.
libcurl.dll - простые геты наверно идут через это

Если не ошибаюсь C# можно подключить только в платной версии ?

нет, при желании можно подключить любой язык. инструкции гдето тут на форуме есть

тяжелые/долгие задачи можно на удобном тебе ЯП реализовать.
Так же есть возможность создавать свои модули для BAS.

p.s. самое тяжелое из функционала что я видел это загрузка профилей

[inotoxic]

@tet-vivi
На скрине я так понимаю - про версия ?

[tet-vivi]

@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:

@tet-vivi
На скрине я так понимаю - про версия ?

обычная

[DrPrime]

@inotoxic
Если простыми словами, то такая нагрузка из за того что каждый поток подгружает все функции, которые есть в бас, что и дает нагрузку на проц в момент старта. Если делать на каком то яп - то там будет только инициализация хттп клиента. Единственное, что если в скрипте нет браузерных действий, то не будет запускаться браузер в каждом потоке.

Поэтому снизить нагрузку можно просто не создавая каждый раз новые потоки. Так же не нужно делать сброс хттп клиента в цикле, а просто очистить куки и сменить заголовки если нужно.

Я запускал до 1000 потоков с циклом , правда старт занимает долго, так как у меня в каждом потоке было еще куча кода, и основное время на старте уходило на его обработку. Но потом нагрузка в норме, и стабильность работы тоже.

П.С. Обязательно выпиливайте защитник, убивайте его всеми возможными методами на вашей винде)

[GhostZ]

@inotoxic, запустил скрипт на запросах в 1000 потоков цп больше 10% не поднимается

[tet-vivi]

@DrPrime

П.С. Обязательно выпиливайте защитник, убивайте его всеми возможными методами на вашей винде)

защитник 10 очень проблематичен.

Есть рекомендации по оптимизации загрузки профилей хрома?

[inotoxic]

@GhostZ
тут хоть цикле. хоть без цикла - при 50 потоках нагрузка под 100 %

[tet-vivi]

@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:

@GhostZ
тут хоть цикле. хоть без цикла - при 50 потоках нагрузка под 100 %

а сколько потоков до 100% может у тебя висеть макс. с 1 действием сна

[inotoxic]

@tet-vivi
в 1000 потоков запустил с ожидаением в 60 сек
все потоки запустились - нагрузка 8-10%

[tet-vivi]

@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:

@tet-vivi
в 1000 потоков запустил с ожидаением в 60 сек
все потоки запустились - нагрузка 8-10%

это @DrPrime с его нагрузками инициализации.

для чистоты эксперимента можно сделать 1 гет запрос и отправлять в сон. исключить другие действия и сконцентрироваться на нагрузке этого действа

[inotoxic]

@tet-vivi
Из того же ресурса взял ссылку
1 поток
гет запрос, парсинг через xpath заголовка по тегу h1
сон 60 сек

Нагрузка 8-10%

[inotoxic]

Тот же список ссылок в ресурсе
Поменял метод запроса с GET на HEAD
запрос - получение статус кода - вывод в лог
50 потоков нагрузка 80-100% + тормозит интерфейс

[DrPrime]

@inotoxic

@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:

@tet-vivi
Из того же ресурса взял ссылку
1 поток
гет запрос, парсинг через xpath заголовка по тегу h1
сон 60 сек

Нагрузка 8-10%

Очень слабые показатели. Можете в лс кинуть проект и пример линков, я запущу у себя. И еще вопрос, какой у вас процессор?

[tet-vivi]

@inotoxic вывод лог - по сообщениям тут, это ресуроемкая операция. При оптимизациях рекомендуется откл.