Статус работ над новой версией
-
@Anton said in Статус работ над новой версией:
@sir-ydroidrrr , понимаю, но с размером печаль конечно. На большом кол-ве профилей (100К-300К), это дисков в 30 раз больше надо. Страшно представить даже. Кто может объяснить, зачем в профиле, замечу в каждом профиле, Default профиль вставляется?
Это плохо, но речь идет только о первоначальном размере профиля наверное, надеюсь дальнейшее его наполнение не измениться в большую сторону.
У меня sas диск на 16 тб. На 10к хватает погреться. -
@FastSpace said in Статус работ над новой версией:
У меня sas диск на 16 тб
Ещё скажи, что это специальный диск для хранения БАСовских профилей)
-
@DoctorKrolic said in Статус работ над новой версией:
@FastSpace said in Статус работ над новой версией:
У меня sas диск на 16 тб
Ещё скажи, что это специальный диск для хранения БАСовских профилей)
Угу, чую в новой версии три таких надо будет наверное :D
-
@FastSpace псих... в хорошем смысле этого слова :D
-
Посмотрел эти расширения c блокировщиком рекламы, на https://browserleaks.com/proxy тут внизу пишет, что есть какое-то палево со страной расширения. Это что если у меня прокси кучи стран надо городить свои ссылки на расширения каждому отдельно....
@DoctorKrolic said in Статус работ над новой версией:
@FastSpace псих... в хорошем смысле этого слова :D
Не, это фигня. Вот у User_True свой кастом браузер хромиум, вот это псих..
-
@FastSpace said in Статус работ над новой версией:
Посмотрел эти расширения c блокировщиком рекламы, на https://browserleaks.com/proxy тут внизу пишет, что есть какое-то палево со страной расширения. Это что если у меня прокси кучи стран надо городить свои ссылки на расширения каждому отдельно....
Достаточно не использовать региональные фильтры
-
@FastSpace, вся работа много потока на старых профилях, идеально отрабатывает с ssd nvme m2, с профилями больше 200к. Но вопрос в масштабировании на новой версии ставит на колени. Любые sas решения не дадут норм скорости во много потоке. Даже если ставить 5 винтов и делить скорость.
Архивирование тоже слабо сжимает. Пока разраб не подтвердит увеличение прям в десятки раз, хочу верить в лучшее., ибо шансов адаптироваться минимум. -
-
@FastSpace речь о другом, 200к это винтов в 50 раз больше. То есть пример, был терабайт nvme, и хватало даже на 500к профилей. Сейчас же 50 винтов таких доставить невозможно. А любые решения sas или даже просто ssd, который в цене тоже не прям копейки стоит, и близко не будут давать той скорости. Одно дело подключение, а другое как это все работает например 130-150 потоках. От ssd отказался, не справлялся, да и nvme только самсунговский норм отрабатывает на мелких файлах. Ключевая проблема не в выборе sas или ssd, а то что профиль стал просто гигантский, этт ж не 5x, а 50x. И адаптироваться - даде фантазеру сложно.
-
@deepmojo said in Статус работ над новой версией:
@FastSpace речь о другом, 200к это винтов в 50 раз больше. То есть пример, был терабайт nvme, и хватало даже на 500к профилей. Сейчас же 50 винтов таких доставить невозможно. А любые решения sas или даже просто ssd, который в цене тоже не прям копейки стоит, и близко не будут давать той скорости. Одно дело подключение, а другое как это все работает например 130-150 потоках. От ssd отказался, не справлялся, да и nvme только самсунговский норм отрабатывает на мелких файлах. Ключевая проблема не в выборе sas или ssd, а то что профиль стал просто гигантский, этт ж не 5x, а 50x. И адаптироваться - даде фантазеру сложно.
Не заметил отличий в работе многопотока на SAS и nvme. Поток поболя будет.
По размеру профиля да есть проблема, но я надеюсь что это только первоначальный размер, дальнейшее наполнение не измениться наверно -
Можно вообще обычные hdd диски использовать, профиль перед запуском грузить в ОЗУ, потом назад. Скорость запуска конечно немного просядет, но зато потом лагов не будет.
-
@FastSpace said in Статус работ над новой версией:
По размеру профиля да есть проблема, но я надеюсь что это только первоначальный размер, дальнейшее наполнение не измениться наверно
Мой профиль в хроме 1.5гб ...
-
@UserTrue said in Статус работ над новой версией:
Можно вообще обычные hdd диски использовать, профиль перед запуском грузить в ОЗУ, потом назад. Скорость запуска конечно немного просядет, но зато потом лагов не будет.
Как Вы определяете что это нужно делать, подскажите, пожалуйста. Т.е. как увидеть что происходит баг с загрузкой профиля ?
-
@FastSpace Как бы любой поток может же и по разному кушать ресурс. Поэтому на фоне большой обработки мелких файлов, nvme лично в моих задачах единственное решение. Но испробованы все виды винтов и не один производитель. Речь о промышленных масштабах.
-
@UserTrue Что касается цен, живности и т.д. абсолютно четко сказано. Тут есть может не правильное мое понимание, поэтому уточню.
Пример, там у меня 72 гига (доставить до 128, не проблема же), и надо заюзать в сутки 20к профилей, где каждая сессия до 5 мин.
Исходя из 50 мб профиля, где это минимум, грузить все сразу, конечно бред. Да и невозможно.Остается только вариант постоянно подгружать весь профиль в память, где замечу в новой версии 700 файлов. Теперь представим, что в минуту загружается минимум 50 таких профилей постоянно, и ответим мысленно на вопрос:
Как винт справится с такой дикой нагрузкой даже по считыванию огромного количества мелких файлов одновременно? Несмотря на то, что выигрыш по работе в последующем после считывания с памяти будет очевиден. Но его же надо считать, и на норм многопотоке это катастрофа.
-
@deepmojo said in Статус работ над новой версией:
Исходя из 50 мб профиля, где это минимум, грузить все сразу, конечно бред. Да и невозможно.
Остается только вариант постоянно подгружать весь профиль в память, где замечу в новой версии 700 файлов. Теперь представим, что в минуту загружается минимум 50 таких профилей постоянно, и ответим мысленно на вопрос:У меня запускает потоки отдельный главный поток. И запускает их по очереди.
По завершение только изменившиеся файлы идут назад на диск.
Профиль удаляется из ОЗУ
Если главный поток видит, что число рабочих потоков снизилось, он снова добивает их число до лимитаТо есть запуск потоков идет синхронно диск справляется. Но у меня сессии дольше, около 20 минут.
Возможно можно разбить хранение профилей на несколько дисков и написать такой алгоритм, чтобы профили брались по возможности с разных дисков. 4 диска = 4 одновременных запуска профилей.
Короче промышленная работа это не решение из коробки ))
-
