@d3rzk1y модуль извлечь все данные из вкладки регулярные выражения отлично для этого подходит
Утечка памяти или из за чего происходит сбой системы?
-
@HustleMan, не должно, но у вас в лог выводится много информации что увеличивает потребление, а также вы постоянно сбрасываете http клиент, что тоже может вызывать увеличение потребления
-
@GhostZ удалил лог и сброс, утекает в разы меньше, но утекает) Я тогда не понимаю как работать с многопоточностью, ведь весь смысл теряется ты не можешь просто оставить бота на недели ибо он крашнется вместе с виндой когда память закончится.
-
@HustleMan, ну я хз, у меня были скрипты которые в сотни потоков работали неделями, без каких либо проблем
-
@HustleMan Да, но у меня в одной копии по 700 потоков работает
-
@HustleMan, нет, были обычные скрипты на http клиенте + node.js, увеличение потребления памяти никогда не замечал
-
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@UserTrue а в секунду?
Не знаю ) Но утечек памяти у меня точно нет
-
@HustleMan последняя, у меня ни на какой версии не было таких проблем
-
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@UserTrue так почему тогда не запустить 3к потоков в одном окне?
Будет лагать, лучше несколько копий
-
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@GhostZ благодарю за ответ и ваше время, спарсил 100 000 ссылок, немного медленнее стало утекать, но проблема осталась.
Сколько времени должен работать ваш скрипт, что бы проблема проявилась?
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@UserTrue а зачем копии если можно в одном окне указать больше потоков или нет?
BAS не очень хорошо использует множество ядер, по этому и выгоднее запускать большое количество потоков в нескольких копиях скрипта
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@UserTrue ну и я о том же, будет лагать. А вопрос почему? А должно ли так быть? А что нужно чтобы не лагало? А как я могу что-то сделать если я понятия не имею как оно работает, как и большинство новичков
У меня все скрипты работают на запросах, многие работают сутками без остановки, проблему утечки памяти ни разу не замечал. Проблема которую описал топикастер происходит при использовании временных профилей браузера, при использовании http-клиента утечек быть не должно.
-
-
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@Fox @Fox по времени достаточно и 15 мин при 40 потоках чтобы увидеть как потребление озу стремиться только вверх
С использованием прокси или можно без прокси?
-
-
@HustleMan said in Утечка памяти или из за чего происходит сбой системы?:
@Fox я без прокси запускал, сейчас домой приду и скину скрин что вышло по итогу Парсинга 750000 страниц, я для сравнения один раз прогнал с логом и один раз без лога
Да, без прокси в 40 потоков спустя пол часа началось стабильное увеличиваться потребление памяти. Спасибо за тестовый скрипт, буду разбираться
