У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
После 2-3 ех часов работы скрипта - заканчивается память
-
Всем привет! После 2-3 ех часов работы скрипта заканчивается память. Притом новые процессы БАС не запускает, но памяти ему все равно не хватает. В итоге через некоторое время висит 1 процесс и куча сообщений о попытке запустить новые:
Почему БАС не освобождает память? Раньше такого не было. Спокойно работало 10 потоков.
-
@govoruxinroman может вы все время открываете вкладки при этом не закрываете старые?
-
@UserTrue said in После 2-3 ех часов работы скрипта - заканчивается память:
@govoruxinroman может вы все время открываете вкладки при этом не закрываете старые?
Открывал, но не много. Они же автоматом должны закрываться когда процесс завершается? Или они в фоновом режиме продолжают работать?
-
@govoruxinroman нет, если поток закрывается то они тоже.
-
А нормально что столько процессов chromium создается? В разы больше количества потоков?
-
@govoruxinroman зависит от числа браузеров и вкладок, обычный хром тоже несколько процессов на каждую вкладку создает. А после остановки скрипта все процессы закрываются?
-
@UserTrue said in После 2-3 ех часов работы скрипта - заканчивается память:
@govoruxinroman зависит от числа браузеров и вкладок, обычный хром тоже несколько процессов на каждую вкладку создает. А после остановки скрипта все процессы закрываются?
Да, после того как на кнопку "выход" нажимаю - эти процессы тоже останавливаются.
А в БАС есть возможность автоматического перезапуска скрпита?
-
Переустановите бас и скомпильте снова, +попробуйте на другом сервере, возможно сервер такой
-
This post is deleted!
-
@gurkin4 said in После 2-3 ех часов работы скрипта - заканчивается память:
@govoruxinroman В BAS есть возможность "Закрыть вкладку". Вот что сложного прописать в своём скрипте закрытие вкладки 1? На всякий случай 2, 3, 4 и 5, в зависимости от того, что там у вас записано.
в скрипте не используется дополнительных вкладок. Все действия выполняются в одном окне в рамках одного потока.
-
This post is deleted!
-
А можно как-то выловить проблемное место? Есть какие-то расширенные логи в БАС?
-
@govoruxinroman если на сайте лента с прокруткой бесконечной, то скорее всего она и забивает память.
-
Оказалось что виной всему был бесконечный цикл в котором проверялось загрузился ли сайт и если нет, то загружал повторно.
-
@govoruxinroman said in После 2-3 ех часов работы скрипта - заканчивается память:
Оказалось что виной всему был бесконечный цикл в котором проверялось загрузился ли сайт и если нет, то загружал повторно.
каждый раз в новой вкладке?
