SQL - Модуль для работы с SQL базами данных

[Fox]

@IvanM said in SQL:

@kolanthony замечал временные зашкаливания ЦП с тех пор, как вышли обновления с node.js. Когда только появились модули для эксель, фтп и др.

Поддерживаю, у меня ногу стало сводить сразу как модуль стал тестировать

[IvanM]

@Fox :D
да, поэтому следует установить БАС образца года 2017... облысение еще кстати бывает.

[DoctorKrolic]

@IvanM Присоединяюсь. В момент, кода выполняется код на ноде, она кушает слишком много ЦП для поставленной ей задачи. Просто прочитать что-то из экселя - 30%, а то и бльше

[IvanM]

@DoctorKrolic блин, ну 30% это жоска. Видать только железом и решаемо.

[Zack9]

@DoctorKrolic значит любые модули +30%?

[A Former User]

@DoctorKrolic said in SQL:

@IvanM Присоединяюсь. В момент, кода выполняется код на ноде, она кушает слишком много ЦП для поставленной ей задачи. Просто прочитать что-то из экселя - 30%, а то и бльше

Какого размера табличка? Или может табличку тут оставите, что бы проверить ради интереса.Я работал только с небольшими таблицами и не замечал нагрузки.

[DoctorKrolic]

@UserTrue Табличку оставить не могу. Это мои акки. Но вот параметры: более 300 строк, 5 колонок, 1 из которых - email'ы и одна - прокси в полном виде (http:логин:пароль:ip:порт). Это уже как минимум выглядит достаточно массивно. Практически одновременно из этой таблицы читают данные ~30 потоков. Происходит пик потребления ЦП у процесса ноды, значения доходят до ~30%. Через несколько секунд нагрузка падает до ~0

[A Former User]

@DoctorKrolic said in SQL:

Практически одновременно из этой таблицы читают данные ~30 потоков.

Я думаю это супер плохая идея. Каждый раз надо обратиться к диску прочитать это все в ОЗУ, завернуть в различные структуры данных. Короче это уйма работы, ничего удивительного, что прыгает нагрузка.

Либо используйте БД, либо читайте свою табличку один раз и кидайте данные в ресурс.

[DoctorKrolic]

@UserTrue Спасибо за совет

[GhostZ]

@DoctorKrolic, попробуйте данную Excel.zip версию модуля

[DoctorKrolic]

@GhostZ Воу, а вы, однако, очень продуктивно работали за последние месяцы) Спасибо за обновлённую версию. Вот сейчас на скорую руку сделал тестовый скрипт, который тупо в 10 потоков построчно перебирает таблицу в 300 строк, и особо разницы в потреблении ЦП нодой не увидел, и в старой, и в новой версии 25-30%. Но это явно не тот результат, который будет в нормально составленном скрипте.

[efbb4956bf]

@GhostZ в чем отличие данной версии,можно больше информации для пользователей?

[DoctorKrolic]

@efbb4956bf Несколько новых действий вы, похоже не заметили. + багфиксы. Я лично убедился в одном из них. Да и, думаю, в changelog'е новой версии будет указано что конкретно изменили/пофиксили. Это ж ведь модуль, который 100% в новую сборку попадёт

[GhostZ]

@efbb4956bf, фиксы и улучшения кода, новые действия получения/изменения размеров строк/столбцов, была изменена функция проверки блокировки файла, что должно увеличить скорость и уменьшить нагрузку.

---

---

@DoctorKrolic said in SQL:

@GhostZ Воу, а вы, однако, очень продуктивно работали за последние месяцы)

Просто пока велась работа над добавлением нового движка и обновления BAS не выходили, копился невыпущенный контент.

[efbb4956bf]

@GhostZ как я понимаю работа однопоток с файлом идет? т.е пока один поток вносит\берет данные - другие ждут?

[GhostZ]

@efbb4956bf, читает один поток, остальные потоки ждут, а потом прочитанные данные доступны во всех потоках.

[efbb4956bf]

@GhostZ а что насчет записи,чтоб небыло путаницы,когда идет запись одним потоком-остальные по аналогии ждут?

[GhostZ]

@efbb4956bf, в один, как вы собираетесь один и тот же файл сохранять в многопотоке?

[lotra]

@GhostZ Cпасибо за mssql.

[booldozer]

@GhostZ Какие бы запросы не слал, такие вот ошибки.