@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Папки профилей, размер "на диске" больше фактического в 7-8 раз
-
Привет)
Вот такая ситуация, реально ли занимает 320 МБ?
-
-
Я так понимаю это меняется изменением размера секторов до какого-то минимального, как бы понять оптимальное значение.
-- upd
Еще у меня есть профили на диске С, так вот там размер фактический и на диске - сходятся почти идеально, это 2000 профилей. Походу надо делать такой же размер сектора и на диске D где перерасход, сейчас проверю. -
Создал тхт файл в котором содержимое "123". Получаем такой размер на диске:
Теперь всё понятно, у меня exFAT c размером кластера 256 килобайт. Любой мелкий самый файл кеша или чего либо в профиле - занимает как минимум 256К. Вот и результат.
-
Профиль, это Сохранение всех Сессий, в него даж Прокси Записать можно (как думаете вес прибавится или останется тем же) :)
Прогрев Профилей нужен и он тоже Растёт от Количества Инфы (сейчас кстати меньше они растут, раньше cache по инфе изображений много кушал).
Кукисы могут, сдохнуть через 30 дней мол, а на один Профиль, можно и Авториз или Рег ещё дополнить как настоящему Человеку и он естественно в Весе прибав :)Можно Купить Гугл Акк и потом в этом же Профили, где по Гуглу Рега возможна (тикток и тп и тд) и вот Прокачать его до талого, сам Гугл даж будет Верить что вы не Бот :)
-
-
@Vaip Просто Этот Парень Не В Себе ))
-
@centerdevs А может у вас в Винде Вирусняк завёлся и делает что хотит :)
Сейчас Майнеры делают, что через Диспетчер не Спалится.
Что вы такие Агрессивные то. вам слово таким не скажи и всё Крайний в обяз будешь.
Зачем вообще Пользоваться БАС если подозревать что то и в Кластер даж Лезьть.
Я Доверяю нашему Разрабу и от Админа Запускаю.
Да и так же, заниматься Разработкой и мол на Калькурятоле (1мб мол) это просто Себя не уважать.
На Пентиум 2 ещё попробуйте Запустить :)))Детское Баловство у вас получается, сами себя мучаете и других в свои муки привлекаете.
Я не Раз не Оскорбил и просто Сказал как Есть, ваше Право, думать что Хотите.
В себе или нет это Спорный Вопрос, и не думайте, что вам не Ответят. -
@dilolo said in Папки профилей, размер "на диске" больше фактического в 7-8 раз:
Автору вроде все стало ясно но спор все еще продолжается :)
Весна скоро, то ли ещё будет
-
Да вопрос уже закрыт полностью) Форматнул диск в NTFS 4096 размер кластера.
С той же пачкой профилей, до этого было занято - 900 ГБ, после - 150 ГБ.
