GET запрос 50 потоков нагрузка 90-100%

[DrPrime]

@inotoxic
Если простыми словами, то такая нагрузка из за того что каждый поток подгружает все функции, которые есть в бас, что и дает нагрузку на проц в момент старта. Если делать на каком то яп - то там будет только инициализация хттп клиента. Единственное, что если в скрипте нет браузерных действий, то не будет запускаться браузер в каждом потоке.

Поэтому снизить нагрузку можно просто не создавая каждый раз новые потоки. Так же не нужно делать сброс хттп клиента в цикле, а просто очистить куки и сменить заголовки если нужно.

Я запускал до 1000 потоков с циклом , правда старт занимает долго, так как у меня в каждом потоке было еще куча кода, и основное время на старте уходило на его обработку. Но потом нагрузка в норме, и стабильность работы тоже.

П.С. Обязательно выпиливайте защитник, убивайте его всеми возможными методами на вашей винде)

[GhostZ]

@inotoxic, запустил скрипт на запросах в 1000 потоков цп больше 10% не поднимается

[tet-vivi]

@DrPrime

П.С. Обязательно выпиливайте защитник, убивайте его всеми возможными методами на вашей винде)

защитник 10 очень проблематичен.

Есть рекомендации по оптимизации загрузки профилей хрома?

[inotoxic]

@GhostZ
тут хоть цикле. хоть без цикла - при 50 потоках нагрузка под 100 %

[tet-vivi]

@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:

@GhostZ
тут хоть цикле. хоть без цикла - при 50 потоках нагрузка под 100 %

а сколько потоков до 100% может у тебя висеть макс. с 1 действием сна

[inotoxic]

@tet-vivi
в 1000 потоков запустил с ожидаением в 60 сек
все потоки запустились - нагрузка 8-10%

[tet-vivi]

@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:

@tet-vivi
в 1000 потоков запустил с ожидаением в 60 сек
все потоки запустились - нагрузка 8-10%

это @DrPrime с его нагрузками инициализации.

для чистоты эксперимента можно сделать 1 гет запрос и отправлять в сон. исключить другие действия и сконцентрироваться на нагрузке этого действа

[inotoxic]

@tet-vivi
Из того же ресурса взял ссылку
1 поток
гет запрос, парсинг через xpath заголовка по тегу h1
сон 60 сек

Нагрузка 8-10%

[inotoxic]

Тот же список ссылок в ресурсе
Поменял метод запроса с GET на HEAD
запрос - получение статус кода - вывод в лог
50 потоков нагрузка 80-100% + тормозит интерфейс

[DrPrime]

@inotoxic

@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:

@tet-vivi
Из того же ресурса взял ссылку
1 поток
гет запрос, парсинг через xpath заголовка по тегу h1
сон 60 сек

Нагрузка 8-10%

Очень слабые показатели. Можете в лс кинуть проект и пример линков, я запущу у себя. И еще вопрос, какой у вас процессор?

[tet-vivi]

@inotoxic вывод лог - по сообщениям тут, это ресуроемкая операция. При оптимизациях рекомендуется откл.

[inotoxic]

@DrPrime
Athlon FX6300 - 3.5, 8Gb RAM
03.zip

[GhostZ]

@inotoxic, запустил в 50 потоков больше 4% цп не нагружает

[DrPrime]

@inotoxic У меня тоже, прыгает 5-7 процентов, без лагов и прочего.

Тут я вижу только одну возможную проблему. Это какой то антивирус, либо дефолтный защитник, либо другие. У меня были такие проблемы на серверах с серверной виндой 2016, там защитник анализировал каждый запрос

upd. Если в цикле, нагрузка на проц 1-3%

[inotoxic]

@DrPrime
Защитники антивирусы и прочие - не использую

не реклама
эти же ссылки в зенке или контенданулоадере в 100 потоков нормально работают с плавающей нагрузкой до 20 %
питон скрипты в 1000 потоков тоже без особых нагрузок работают

а вот с BAS прям беда какая-та

[GhostZ]

@inotoxic, заменил на GET запросы и поставил в цикл, 50 потоков 0.5-2% нагрузка на цп

[DrPrime]

@inotoxic понял, ну тогда даже не знаю в какую сторону копать

[tet-vivi]

This post is deleted!

[DrPrime]

@tet-vivi воркеров нет, так как нет браузера

[tet-vivi]

можно понаблюдать нету ли всплеска нагрузки в это время у других процессов в системе