Сомнительно но окей...
SQL - Модуль для работы с SQL базами данных
-
@kolanthony замечал временные зашкаливания ЦП с тех пор, как вышли обновления с node.js. Когда только появились модули для эксель, фтп и др.
Поддерживаю, у меня ногу стало сводить сразу как модуль стал тестировать
-
@IvanM Присоединяюсь. В момент, кода выполняется код на ноде, она кушает слишком много ЦП для поставленной ей задачи. Просто прочитать что-то из экселя - 30%, а то и бльше
-
@DoctorKrolic блин, ну 30% это жоска. Видать только железом и решаемо.
-
@DoctorKrolic значит любые модули +30%?
-
@DoctorKrolic said in SQL:
@IvanM Присоединяюсь. В момент, кода выполняется код на ноде, она кушает слишком много ЦП для поставленной ей задачи. Просто прочитать что-то из экселя - 30%, а то и бльше
Какого размера табличка? Или может табличку тут оставите, что бы проверить ради интереса.Я работал только с небольшими таблицами и не замечал нагрузки.
-
@UserTrue Табличку оставить не могу. Это мои акки. Но вот параметры: более 300 строк, 5 колонок, 1 из которых - email'ы и одна - прокси в полном виде (http:логин:пароль:ip:порт). Это уже как минимум выглядит достаточно массивно. Практически одновременно из этой таблицы читают данные ~30 потоков. Происходит пик потребления ЦП у процесса ноды, значения доходят до ~30%. Через несколько секунд нагрузка падает до ~0
-
@DoctorKrolic said in SQL:
Практически одновременно из этой таблицы читают данные ~30 потоков.
Я думаю это супер плохая идея. Каждый раз надо обратиться к диску прочитать это все в ОЗУ, завернуть в различные структуры данных. Короче это уйма работы, ничего удивительного, что прыгает нагрузка.
Либо используйте БД, либо читайте свою табличку один раз и кидайте данные в ресурс.
-
@DoctorKrolic, попробуйте данную Excel.zip версию модуля
-
@GhostZ Воу, а вы, однако, очень продуктивно работали за последние месяцы) Спасибо за обновлённую версию. Вот сейчас на скорую руку сделал тестовый скрипт, который тупо в 10 потоков построчно перебирает таблицу в 300 строк, и особо разницы в потреблении ЦП нодой не увидел, и в старой, и в новой версии 25-30%. Но это явно не тот результат, который будет в нормально составленном скрипте.
-
@GhostZ в чем отличие данной версии,можно больше информации для пользователей?
-
@efbb4956bf Несколько новых действий вы, похоже не заметили. + багфиксы. Я лично убедился в одном из них. Да и, думаю, в changelog'е новой версии будет указано что конкретно изменили/пофиксили. Это ж ведь модуль, который 100% в новую сборку попадёт
-
@efbb4956bf, фиксы и улучшения кода, новые действия получения/изменения размеров строк/столбцов, была изменена функция проверки блокировки файла, что должно увеличить скорость и уменьшить нагрузку.
@DoctorKrolic said in SQL:
@GhostZ Воу, а вы, однако, очень продуктивно работали за последние месяцы)
Просто пока велась работа над добавлением нового движка и обновления BAS не выходили, копился невыпущенный контент.
-
@efbb4956bf, читает один поток, остальные потоки ждут, а потом прочитанные данные доступны во всех потоках.
-
@efbb4956bf, в один, как вы собираетесь один и тот же файл сохранять в многопотоке?
