@gurkin4
Спасибо за помощь, жаль что не заметил ваш ответ, уже сам решил, просто создал цикл if который проверяет переменную содержащую ответ и заново отправляет запрос если в ответ пришло [].
GET запрос 50 потоков нагрузка 90-100%
-
@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:
@tet-vivi
Этот же ПК на python в 1000 потоков без всякой нагрузки на проц нормально работаетА теперь напишите на питоне софт подобный бас и сравним
-
@UserTrue said in GET запрос 50 потоков нагрузка 90-100%:
@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:
@tet-vivi
Этот же ПК на python в 1000 потоков без всякой нагрузки на проц нормально работаетА теперь напишите на питоне софт подобный бас и сравним
без эмуляции хрома? (он тестит на простых get запросах)
@inotoxic, попробуй имитацию человека сделать на python с эмуляцией хрома.(хотя есть есть реализации этого, но разработа будет дольше и сложнее) -
-
@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:
@UserTrue
Смысл не втом что-бы сделать софт на питоне
А понять почему такая разница в работе - вернее нагрузка на процнадо смотреть исходники. для прем. исходники открыты.
libcurl.dll - простые геты наверно идут через этоЕсли не ошибаюсь C# можно подключить только в платной версии ?
нет, при желании можно подключить любой язык. инструкции гдето тут на форуме есть
тяжелые/долгие задачи можно на удобном тебе ЯП реализовать.
Так же есть возможность создавать свои модули для BAS.p.s. самое тяжелое из функционала что я видел это загрузка профилей
-
-
@inotoxic
Если простыми словами, то такая нагрузка из за того что каждый поток подгружает все функции, которые есть в бас, что и дает нагрузку на проц в момент старта. Если делать на каком то яп - то там будет только инициализация хттп клиента. Единственное, что если в скрипте нет браузерных действий, то не будет запускаться браузер в каждом потоке.Поэтому снизить нагрузку можно просто не создавая каждый раз новые потоки. Так же не нужно делать сброс хттп клиента в цикле, а просто очистить куки и сменить заголовки если нужно.
Я запускал до 1000 потоков с циклом , правда старт занимает долго, так как у меня в каждом потоке было еще куча кода, и основное время на старте уходило на его обработку. Но потом нагрузка в норме, и стабильность работы тоже.
П.С. Обязательно выпиливайте защитник, убивайте его всеми возможными методами на вашей винде)
-
-
-
@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:
@tet-vivi
в 1000 потоков запустил с ожидаением в 60 сек
все потоки запустились - нагрузка 8-10%это @DrPrime с его нагрузками инициализации.
для чистоты эксперимента можно сделать 1 гет запрос и отправлять в сон. исключить другие действия и сконцентрироваться на нагрузке этого действа
-
-
@inotoxic said in GET запрос 50 потоков нагрузка 90-100%:
@tet-vivi
Из того же ресурса взял ссылку
1 поток
гет запрос, парсинг через xpath заголовка по тегу h1
сон 60 секНагрузка 8-10%
Очень слабые показатели. Можете в лс кинуть проект и пример линков, я запущу у себя. И еще вопрос, какой у вас процессор?
-
