SQL - Модуль для работы с SQL базами данных

Делитесь модулями
  • Название: SQL
    Версия: 1.3
    Данные: SQL.zip, CommonCode.zip - вспомогательный модуль, необходимый для работы.
    Исходник: -.
    Согласие на добавление модуля в BAS: Модуль добавлен в BAS.
    Описание: Модуль для работы с SQL базами данных (Postgres, MySQL, MariaDB, SQLite, MSSQL).
    История версий:

    Скриншоты:
    19e6c749-ffb4-424c-ac78-d39402d29a9e-image.png


    Для работы модуля на BAS ниже версии 24.1.0 нужно установить вспомогательный модуль CommonCode.zip


    Модуль хорошо оттестирован, но если вы будете испытывать проблемы при работе, то можно их описать в этой теме.

  • странно установил модуль и у меня цп 90-100 выдает удалил модуль цп упало норм не знаю связанно это с модулем иль нет

  • @kolanthony замечал временные зашкаливания ЦП с тех пор, как вышли обновления с node.js. Когда только появились модули для эксель, фтп и др.

  • @IvanM said in SQL:

    @kolanthony замечал временные зашкаливания ЦП с тех пор, как вышли обновления с node.js. Когда только появились модули для эксель, фтп и др.

    Поддерживаю, у меня ногу стало сводить сразу как модуль стал тестировать

  • @Fox :D
    да, поэтому следует установить БАС образца года 2017... облысение еще кстати бывает.

  • @IvanM Присоединяюсь. В момент, кода выполняется код на ноде, она кушает слишком много ЦП для поставленной ей задачи. Просто прочитать что-то из экселя - 30%, а то и бльше

  • @DoctorKrolic блин, ну 30% это жоска. Видать только железом и решаемо.

  • @DoctorKrolic значит любые модули +30%?

  • @DoctorKrolic said in SQL:

    @IvanM Присоединяюсь. В момент, кода выполняется код на ноде, она кушает слишком много ЦП для поставленной ей задачи. Просто прочитать что-то из экселя - 30%, а то и бльше

    Какого размера табличка? Или может табличку тут оставите, что бы проверить ради интереса.Я работал только с небольшими таблицами и не замечал нагрузки.

  • @UserTrue Табличку оставить не могу. Это мои акки. Но вот параметры: более 300 строк, 5 колонок, 1 из которых - email'ы и одна - прокси в полном виде (http:логин:пароль:ip:порт). Это уже как минимум выглядит достаточно массивно. Практически одновременно из этой таблицы читают данные ~30 потоков. Происходит пик потребления ЦП у процесса ноды, значения доходят до ~30%. Через несколько секунд нагрузка падает до ~0

  • @DoctorKrolic said in SQL:

    Практически одновременно из этой таблицы читают данные ~30 потоков.

    Я думаю это супер плохая идея. Каждый раз надо обратиться к диску прочитать это все в ОЗУ, завернуть в различные структуры данных. Короче это уйма работы, ничего удивительного, что прыгает нагрузка.

    Либо используйте БД, либо читайте свою табличку один раз и кидайте данные в ресурс.

  • @UserTrue Спасибо за совет

  • @DoctorKrolic, попробуйте данную Excel.zip версию модуля

  • @GhostZ Воу, а вы, однако, очень продуктивно работали за последние месяцы) Спасибо за обновлённую версию. Вот сейчас на скорую руку сделал тестовый скрипт, который тупо в 10 потоков построчно перебирает таблицу в 300 строк, и особо разницы в потреблении ЦП нодой не увидел, и в старой, и в новой версии 25-30%. Но это явно не тот результат, который будет в нормально составленном скрипте.

  • @GhostZ в чем отличие данной версии,можно больше информации для пользователей?

  • @efbb4956bf Несколько новых действий вы, похоже не заметили. + багфиксы. Я лично убедился в одном из них. Да и, думаю, в changelog'е новой версии будет указано что конкретно изменили/пофиксили. Это ж ведь модуль, который 100% в новую сборку попадёт

  • @efbb4956bf, фиксы и улучшения кода, новые действия получения/изменения размеров строк/столбцов, была изменена функция проверки блокировки файла, что должно увеличить скорость и уменьшить нагрузку.


    8b36b8c1-293b-4fc1-a96e-18a70f8852ee-image.png


    @DoctorKrolic said in SQL:

    @GhostZ Воу, а вы, однако, очень продуктивно работали за последние месяцы)

    Просто пока велась работа над добавлением нового движка и обновления BAS не выходили, копился невыпущенный контент.

  • @GhostZ как я понимаю работа однопоток с файлом идет? т.е пока один поток вносит\берет данные - другие ждут?

  • @efbb4956bf, читает один поток, остальные потоки ждут, а потом прочитанные данные доступны во всех потоках.

  • @GhostZ а что насчет записи,чтоб небыло путаницы,когда идет запись одним потоком-остальные по аналогии ждут?

  • 4 Votes
    8 Posts
    1863 Views
  • 7 Votes
    21 Posts
    5233 Views
  • 11 Votes
    58 Posts
    9312 Views
  • 5 Votes
    32 Posts
    7522 Views
  • 17 Votes
    100 Posts
    26162 Views