Статус работ над новой версией
-
@FastSpace речь о другом, 200к это винтов в 50 раз больше. То есть пример, был терабайт nvme, и хватало даже на 500к профилей. Сейчас же 50 винтов таких доставить невозможно. А любые решения sas или даже просто ssd, который в цене тоже не прям копейки стоит, и близко не будут давать той скорости. Одно дело подключение, а другое как это все работает например 130-150 потоках. От ssd отказался, не справлялся, да и nvme только самсунговский норм отрабатывает на мелких файлах. Ключевая проблема не в выборе sas или ssd, а то что профиль стал просто гигантский, этт ж не 5x, а 50x. И адаптироваться - даде фантазеру сложно.
-
@deepmojo said in Статус работ над новой версией:
@FastSpace речь о другом, 200к это винтов в 50 раз больше. То есть пример, был терабайт nvme, и хватало даже на 500к профилей. Сейчас же 50 винтов таких доставить невозможно. А любые решения sas или даже просто ssd, который в цене тоже не прям копейки стоит, и близко не будут давать той скорости. Одно дело подключение, а другое как это все работает например 130-150 потоках. От ssd отказался, не справлялся, да и nvme только самсунговский норм отрабатывает на мелких файлах. Ключевая проблема не в выборе sas или ssd, а то что профиль стал просто гигантский, этт ж не 5x, а 50x. И адаптироваться - даде фантазеру сложно.
Не заметил отличий в работе многопотока на SAS и nvme. Поток поболя будет.
По размеру профиля да есть проблема, но я надеюсь что это только первоначальный размер, дальнейшее наполнение не измениться наверно -
Можно вообще обычные hdd диски использовать, профиль перед запуском грузить в ОЗУ, потом назад. Скорость запуска конечно немного просядет, но зато потом лагов не будет.
-
@FastSpace said in Статус работ над новой версией:
По размеру профиля да есть проблема, но я надеюсь что это только первоначальный размер, дальнейшее наполнение не измениться наверно
Мой профиль в хроме 1.5гб ...
-
@UserTrue said in Статус работ над новой версией:
Можно вообще обычные hdd диски использовать, профиль перед запуском грузить в ОЗУ, потом назад. Скорость запуска конечно немного просядет, но зато потом лагов не будет.
Как Вы определяете что это нужно делать, подскажите, пожалуйста. Т.е. как увидеть что происходит баг с загрузкой профиля ?
-
@FastSpace Как бы любой поток может же и по разному кушать ресурс. Поэтому на фоне большой обработки мелких файлов, nvme лично в моих задачах единственное решение. Но испробованы все виды винтов и не один производитель. Речь о промышленных масштабах.
-
@UserTrue Что касается цен, живности и т.д. абсолютно четко сказано. Тут есть может не правильное мое понимание, поэтому уточню.
Пример, там у меня 72 гига (доставить до 128, не проблема же), и надо заюзать в сутки 20к профилей, где каждая сессия до 5 мин.
Исходя из 50 мб профиля, где это минимум, грузить все сразу, конечно бред. Да и невозможно.Остается только вариант постоянно подгружать весь профиль в память, где замечу в новой версии 700 файлов. Теперь представим, что в минуту загружается минимум 50 таких профилей постоянно, и ответим мысленно на вопрос:
Как винт справится с такой дикой нагрузкой даже по считыванию огромного количества мелких файлов одновременно? Несмотря на то, что выигрыш по работе в последующем после считывания с памяти будет очевиден. Но его же надо считать, и на норм многопотоке это катастрофа.
-
@deepmojo said in Статус работ над новой версией:
Исходя из 50 мб профиля, где это минимум, грузить все сразу, конечно бред. Да и невозможно.
Остается только вариант постоянно подгружать весь профиль в память, где замечу в новой версии 700 файлов. Теперь представим, что в минуту загружается минимум 50 таких профилей постоянно, и ответим мысленно на вопрос:У меня запускает потоки отдельный главный поток. И запускает их по очереди.
По завершение только изменившиеся файлы идут назад на диск.
Профиль удаляется из ОЗУ
Если главный поток видит, что число рабочих потоков снизилось, он снова добивает их число до лимитаТо есть запуск потоков идет синхронно диск справляется. Но у меня сессии дольше, около 20 минут.
Возможно можно разбить хранение профилей на несколько дисков и написать такой алгоритм, чтобы профили брались по возможности с разных дисков. 4 диска = 4 одновременных запуска профилей.
Короче промышленная работа это не решение из коробки ))
-
-
-
-
А давайте я по делу напишу немного. В новой версии BAS действие "ввод текста" может вводить смайлы
:D.
Работает не на всех смайлах, но на 80% примерноиз
записалось
-
@bigorat said in Статус работ над новой версией:
@deepmojo RAM диск, перед запуском скрипта все нужные профили копируются на него и с ним уже идет работа, в конце все опять переносится на SSD или хард.
Я верно понимаю при эксплуатации профиля (в настоящий момент) файлы в папке не меняются (куки не дописываются и т.д.), а только по окончании работы с профилем происходит замена всех (нужных) файлов в папке профиля. Это же не с коробки, вы сами такое написали?
-
@kuzkuz я написал не о текущем режиме работы с профилями, а о варианте переноса их в созданный в оперативной памяти диск, для ускорения обмена данными, поскольку доступ к оперативке всегда будет быстрее чем к накопителю. Я так же не думаю что в текущем варианте работы с профилем все данные хранятся в памяти и только потом дописываются, скорее наоборот, каки то данные все равно будут писаться, но это сугубо мое мнение конечно.
-
Кто то из старожил писал, что раздел "Запросы функционала" Разработчик не читает. Это может и правильно, если он все будет читать то когда он будет пилить новую версию. Я про тему https://community.bablosoft.com/topic/14882/копирование-функций-вместе-с-параметрами
У меня недавно коллапс возник. В связи с тем что все функции переносятся из проекта в проект (как выяснилось не у одного меня так), а работал я последнее время с несколькими проектами одновременно, в одном проекте добавилась одна функция новая, в другом другая, в другом старая функция обновилась.. Вообщем функции "расползлись" по нескольким проектам и если бы можно было бы их просто из "Списка функций" пачками, аналогично обычным кубикам, копировать-вставлять вместе с параметрами(!) из проекта в проект, это бы так сильно упростило работу в BAS. Одно дело когда ты работаешь с одним проектом, функции не используешь. А когда ты более-менее продвинутый пользователь с кучей наработок, то "переписывание" функций вручную из проекта в проект, вместо обычного копи-паста, сродни отказа от калькуляторов в пользу деревянных счет. Управляя таким крутым современным инструментом как BAS, не хотелось бы, чтобы в некоторых местах он скатывался в каменный век. Спасибо за внимание и не сочтите пожалуста за назойливость. -
-
Напишу еще про копирование функций
У меня там повсеместно идут кубики nodejs так вот при их копировании, они копируются вообще без содержимого в них кода, т.е они создаются то самого кода в них нет, они пустые.
Так что потом приходится заходить в оригинальный файл откуда копируешь открывать содержимое кубика nodejs который копировался выделять содержимое этого кубика и потом уже вставлять его в пустой кубик который создался после копирование.
Короче это капец как не удобно.
Очень бы хотелось бы что б кубики nodejs копировались сразу вместе содержащимся в них программном коде.
Я тут пишу про копирование кубиков именно между разными файлами, в рамках одного файла, они копируются с содержимым.
image url)