SQL



  • Название: SQL
    Версия: 1.0
    Данные: SQL.zip
    Исходник: -.
    Согласие на добавление модуля в BAS: Модуль будет добавлен в следующую версию BAS.
    Описание: Модуль для работы с SQL базами данных (Postgres, MySQL, MariaDB, SQLite, MSSQL).
    История версий:

    Скриншоты:
    19e6c749-ffb4-424c-ac78-d39402d29a9e-image.png


    Модуль хорошо оттестирован, но если вы будете испытывать проблемы при работе, то можно их описать в этой теме.



  • странно установил модуль и у меня цп 90-100 выдает удалил модуль цп упало норм не знаю связанно это с модулем иль нет



  • @kolanthony замечал временные зашкаливания ЦП с тех пор, как вышли обновления с node.js. Когда только появились модули для эксель, фтп и др.



  • @IvanM said in SQL:

    @kolanthony замечал временные зашкаливания ЦП с тех пор, как вышли обновления с node.js. Когда только появились модули для эксель, фтп и др.

    Поддерживаю, у меня ногу стало сводить сразу как модуль стал тестировать



  • @Fox :D
    да, поэтому следует установить БАС образца года 2017... облысение еще кстати бывает.



  • @IvanM Присоединяюсь. В момент, кода выполняется код на ноде, она кушает слишком много ЦП для поставленной ей задачи. Просто прочитать что-то из экселя - 30%, а то и бльше



  • @DoctorKrolic блин, ну 30% это жоска. Видать только железом и решаемо.



  • @DoctorKrolic значит любые модули +30%?



  • @DoctorKrolic said in SQL:

    @IvanM Присоединяюсь. В момент, кода выполняется код на ноде, она кушает слишком много ЦП для поставленной ей задачи. Просто прочитать что-то из экселя - 30%, а то и бльше

    Какого размера табличка? Или может табличку тут оставите, что бы проверить ради интереса.Я работал только с небольшими таблицами и не замечал нагрузки.



  • @UserTrue Табличку оставить не могу. Это мои акки. Но вот параметры: более 300 строк, 5 колонок, 1 из которых - email'ы и одна - прокси в полном виде (http:логин:пароль:ip:порт). Это уже как минимум выглядит достаточно массивно. Практически одновременно из этой таблицы читают данные ~30 потоков. Происходит пик потребления ЦП у процесса ноды, значения доходят до ~30%. Через несколько секунд нагрузка падает до ~0



  • @DoctorKrolic said in SQL:

    Практически одновременно из этой таблицы читают данные ~30 потоков.

    Я думаю это супер плохая идея. Каждый раз надо обратиться к диску прочитать это все в ОЗУ, завернуть в различные структуры данных. Короче это уйма работы, ничего удивительного, что прыгает нагрузка.

    Либо используйте БД, либо читайте свою табличку один раз и кидайте данные в ресурс.



  • @UserTrue Спасибо за совет



  • @DoctorKrolic, попробуйте данную Excel.zip версию модуля



  • @GhostZ Воу, а вы, однако, очень продуктивно работали за последние месяцы) Спасибо за обновлённую версию. Вот сейчас на скорую руку сделал тестовый скрипт, который тупо в 10 потоков построчно перебирает таблицу в 300 строк, и особо разницы в потреблении ЦП нодой не увидел, и в старой, и в новой версии 25-30%. Но это явно не тот результат, который будет в нормально составленном скрипте.



  • @GhostZ в чем отличие данной версии,можно больше информации для пользователей?



  • @efbb4956bf Несколько новых действий вы, похоже не заметили. + багфиксы. Я лично убедился в одном из них. Да и, думаю, в changelog'е новой версии будет указано что конкретно изменили/пофиксили. Это ж ведь модуль, который 100% в новую сборку попадёт



  • @efbb4956bf, фиксы и улучшения кода, новые действия получения/изменения размеров строк/столбцов, была изменена функция проверки блокировки файла, что должно увеличить скорость и уменьшить нагрузку.


    8b36b8c1-293b-4fc1-a96e-18a70f8852ee-image.png


    @DoctorKrolic said in SQL:

    @GhostZ Воу, а вы, однако, очень продуктивно работали за последние месяцы)

    Просто пока велась работа над добавлением нового движка и обновления BAS не выходили, копился невыпущенный контент.



  • @GhostZ как я понимаю работа однопоток с файлом идет? т.е пока один поток вносит\берет данные - другие ждут?



  • @efbb4956bf, читает один поток, остальные потоки ждут, а потом прочитанные данные доступны во всех потоках.



  • @GhostZ а что насчет записи,чтоб небыло путаницы,когда идет запись одним потоком-остальные по аналогии ждут?


Log in to reply
 

  • 26
  • 49
  • 13
  • 188
  • 20
  • 83
  • 19
  • 118