У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Лог и инфа по скорости
-
Доброй ночи, как можно добавить информацию о скорости обрабатываемых данных?
Напримере того как береться инфа, прогоняется, след инфа и т.д., интересует как установить в логе прогоны в минуту?
Например 100 записей в минуту.
И другой вопрос, как от текущей инфы которая обрабатывается, выставить инфу сколько обработано, сколько осталось.
Есть 5000 строк, 1000 обработано 4000 осталось. -
@m1st said in Лог и инфа по скорости:
Доброй ночи, как можно добавить информацию о скорости обрабатываемых данных?
Напримере того как береться инфа, прогоняется, след инфа и т.д., интересует как установить в логе прогоны в минуту?
Например 100 записей в минуту.Записывайте время начала работы и вычитайте его из свежего времени когда необходимо узнать сколько времени прошло
И другой вопрос, как от текущей инфы которая обрабатывается, выставить инфу сколько обработано, сколько осталось.
Есть 5000 строк, 1000 обработано 4000 осталось.Это простое математическое действие - вычитание
:D -
@Fox Да я в курсе как это всё делать, Я не особо понимаю, какие данные использовать в BAS. Хотя картинка сложилась как это сделать
-
@m1st said in Лог и инфа по скорости:
@Fox Да я в курсе как это всё делать, Я не особо понимаю, какие данные использовать в BAS. Хотя картинка сложилась как это сделать
Записывайте данные в переменные, а затем выводите в лог их разность. Тип только укажите
expression
Тестовый скрипт
