Отключите все лишнее на целевой странице если она одна, это реально сделать - например скрипты всяких фейсбуков, сторонней аналитики и так далее. Обычно сервесы используют много сторонних скриптов, которые не влияют на работу сайта, но сильно нагружают проц.
Смотрите как идет распределение нагрузки - возможно оно не сплашное, а пиками - тогда можно попробовать запускать потоки более равномерно. Чтоб избегать этих пиков.
Чаще всего можно отрисовку снизить вплоть до 10 (ну 20) .... На загрузку проца, это как раз сильно влияет.
Если сервер свой и без видюхи, то стоит поставить в него видюху.
50 в нынешних условиях для баса с браузером, достаточно много. Можно попробовать разбить на несколько копий баса по 25 например.
Можно использовать рам диск для работы с профилями - но это уже продвинутый уровень.
100 потоков, 15 циклов и 1 млн строк
-
Здравствуйте.
Надо распарсить 1 млн запросов, беря из файла 1 млн логинов.
На каждый поток ставлю по одному прокси, который может сделать к сервису не более 15 запросов.
Если делаю цикл, то внутри цикла используется только первые 15 логинов и всё.
Как мне сделать так, чтобы бас забирал логины последовательно?
То есть, запустились 100 потоков, каждый взял по 15 логинов из файла, то есть первые 1500 логинов из миллиона ушли в работу. Дальше потоки отрабатывают и берут следующие порции по 15 уникальных логинов.
Как это сделать? Смотрю видео про ресуры, асинхронные функции, но не понимаю)
