Статус работ над новой версией

Locked Bablosoft News
  • @FastSpace Как бы любой поток может же и по разному кушать ресурс. Поэтому на фоне большой обработки мелких файлов, nvme лично в моих задачах единственное решение. Но испробованы все виды винтов и не один производитель. Речь о промышленных масштабах.

  • @deepmojo А чем вариант с ОЗУ не устраивает? ) У меня так сделано, любой диск просто курит.
    hdd относительно не дорогие и куда живучий, чем ssd. ОЗУ тоже не дорогая относительно.

  • @UserTrue Что касается цен, живности и т.д. абсолютно четко сказано. Тут есть может не правильное мое понимание, поэтому уточню.

    Пример, там у меня 72 гига (доставить до 128, не проблема же), и надо заюзать в сутки 20к профилей, где каждая сессия до 5 мин.
    Исходя из 50 мб профиля, где это минимум, грузить все сразу, конечно бред. Да и невозможно.

    Остается только вариант постоянно подгружать весь профиль в память, где замечу в новой версии 700 файлов. Теперь представим, что в минуту загружается минимум 50 таких профилей постоянно, и ответим мысленно на вопрос:

    Как винт справится с такой дикой нагрузкой даже по считыванию огромного количества мелких файлов одновременно? Несмотря на то, что выигрыш по работе в последующем после считывания с памяти будет очевиден. Но его же надо считать, и на норм многопотоке это катастрофа.

  • @deepmojo said in Статус работ над новой версией:

    Исходя из 50 мб профиля, где это минимум, грузить все сразу, конечно бред. Да и невозможно.
    Остается только вариант постоянно подгружать весь профиль в память, где замечу в новой версии 700 файлов. Теперь представим, что в минуту загружается минимум 50 таких профилей постоянно, и ответим мысленно на вопрос:

    У меня запускает потоки отдельный главный поток. И запускает их по очереди.
    По завершение только изменившиеся файлы идут назад на диск.
    Профиль удаляется из ОЗУ
    Если главный поток видит, что число рабочих потоков снизилось, он снова добивает их число до лимита

    То есть запуск потоков идет синхронно диск справляется. Но у меня сессии дольше, около 20 минут.

    Возможно можно разбить хранение профилей на несколько дисков и написать такой алгоритм, чтобы профили брались по возможности с разных дисков. 4 диска = 4 одновременных запуска профилей.

    Короче промышленная работа это не решение из коробки ))

  • @deepmojo RAM диск, перед запуском скрипта все нужные профили копируются на него и с ним уже идет работа, в конце все опять переносится на SSD или хард.

  • @UserTrue Как раз 5 минут очень усложняют подобную схему, у нас тоже по для подготовки отдельные скрипты. Докупка винтов это как вариант деребана дерганья, но в силу размера - и новых условий, паническое настроение (

  • @bigorat В сутки копировать до 2 террабайт в память даже с nvme это ж перебор....

  • @deepmojo ну а шо делать? :) Как говорится, любишь кататься, люби и катайся :)

  • А давайте я по делу напишу немного. В новой версии BAS действие "ввод текста" может вводить смайлы :D.
    Работает не на всех смайлах, но на 80% примерно

    из
    смайлы 2.png

    записалось
    смайлы 1.png

  • @bigorat said in Статус работ над новой версией:

    @deepmojo RAM диск, перед запуском скрипта все нужные профили копируются на него и с ним уже идет работа, в конце все опять переносится на SSD или хард.

    Я верно понимаю при эксплуатации профиля (в настоящий момент) файлы в папке не меняются (куки не дописываются и т.д.), а только по окончании работы с профилем происходит замена всех (нужных) файлов в папке профиля. Это же не с коробки, вы сами такое написали?

  • @kuzkuz я написал не о текущем режиме работы с профилями, а о варианте переноса их в созданный в оперативной памяти диск, для ускорения обмена данными, поскольку доступ к оперативке всегда будет быстрее чем к накопителю. Я так же не думаю что в текущем варианте работы с профилем все данные хранятся в памяти и только потом дописываются, скорее наоборот, каки то данные все равно будут писаться, но это сугубо мое мнение конечно.

  • Кто то из старожил писал, что раздел "Запросы функционала" Разработчик не читает. Это может и правильно, если он все будет читать то когда он будет пилить новую версию. Я про тему https://community.bablosoft.com/topic/14882/копирование-функций-вместе-с-параметрами
    У меня недавно коллапс возник. В связи с тем что все функции переносятся из проекта в проект (как выяснилось не у одного меня так), а работал я последнее время с несколькими проектами одновременно, в одном проекте добавилась одна функция новая, в другом другая, в другом старая функция обновилась.. Вообщем функции "расползлись" по нескольким проектам и если бы можно было бы их просто из "Списка функций" пачками, аналогично обычным кубикам, копировать-вставлять вместе с параметрами(!) из проекта в проект, это бы так сильно упростило работу в BAS. Одно дело когда ты работаешь с одним проектом, функции не используешь. А когда ты более-менее продвинутый пользователь с кучей наработок, то "переписывание" функций вручную из проекта в проект, вместо обычного копи-паста, сродни отказа от калькуляторов в пользу деревянных счет. Управляя таким крутым современным инструментом как BAS, не хотелось бы, чтобы в некоторых местах он скатывался в каменный век. Спасибо за внимание и не сочтите пожалуста за назойливость.

  • @serrgo Я так делаю к примеру.
    9a6797aa-1a82-4a4f-8c07-90e2045f19bc-image.png image url)

  • @super84 спасибо за костыль. Хотелось бы обойтись без костылей. А если функций больше сотни.. Думаю разница понятна между костылем и нативным встроенным решением.

  • Напишу еще про копирование функций
    У меня там повсеместно идут кубики nodejs так вот при их копировании, они копируются вообще без содержимого в них кода, т.е они создаются то самого кода в них нет, они пустые.
    Так что потом приходится заходить в оригинальный файл откуда копируешь открывать содержимое кубика nodejs который копировался выделять содержимое этого кубика и потом уже вставлять его в пустой кубик который создался после копирование.
    Короче это капец как не удобно.
    Очень бы хотелось бы что б кубики nodejs копировались сразу вместе содержащимся в них программном коде.
    Я тут пишу про копирование кубиков именно между разными файлами, в рамках одного файла, они копируются с содержимым.

  • @super84 При таком методе часто можно словить баг, в виде нерабочего кубика если в элементах есть русские символы. Например лог с русскими символами, название метки и т.д. Надо пересоздать действие.

  • @FastSpace Я на Русском в скрипте ничего не называю, даже Лог в основном у всех на Енглише :)
    Как то дельный мне давненько Совет UserTrue с Fox ом дали, что и в Ресурсах Переменные лучше на Енглише :)

  • Тема затихла.
    На новую версию уже можно переходить ? Аль лучше погодить чуток ?

  • @dobrok said in Статус работ над новой версией:

    Тема затихла.
    На новую версию уже можно переходить ? Аль лучше погодить чуток ?

    Шапку темы прочитайте

  • @dobrok Это только пререлиз, в котором не реализована часть функционала, главная из которых - отпечатки. Поэтому переходить на эту версию сейчас нельзя (ну, или можно, если вы мазохист)