@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день
-
-
@tet-vivi said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
64 гб ssd 11к,
Чего. Я покупал недавно ssd 500гб за 5к с копейками
-
@tet-vivi said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
@UserTrue
для примера на citilink:
64 гб ssd 11к,
USB флешки 64 Гб 700 рубВ днс https://www.dns-shop.ru/product/cf2c1832e6bf3330/120-gb-ssd-nakopitel-wd-green-wds120g2g0a/
1850р 120 ГБ -
Уж проще ssd менять периодически чем эти бубны с непонятным резульатом.
-
@UserTrue Меня теперь больше это беспокоит.
Тут еще одна забавная математика:
Если профиль греть ровно 1 час (чистое время серфинга), то получается 1 поток за сутки сможет прогреть всего 24 профиля. Это конечно не за один заход прогреть сразу целый час, но в грубый подсчет такой.10000/24= 416 потоков КАРЛ. Причем это тяжелые потоки грузящие ЦП не мало так. По моим подсчетам прогрев профиля у меня в 3 раза тяжелее любого регера.
Какой вывод из всего этого? Те кто кричат, что там там греют и регают миллионами аков просто языкочесатели, коих 99.9%.
-
@maxsiman said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
Только как реализовать чтоб в каждом профиле запретить кеш папку на запись.
Если от этого будет толк, тоэто не так сложно, можно через запуск процесса и cmd команду CACLS
-
@maxsiman said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
@UserTrue ну и всё в папку кеш ни чего не запишется
Бас не "ломается", проверяли?
-
@maxsiman said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
@UserTrue я ставил запрет на всю папку профиль ни чего не записывалось, проверено
Ну вот значит нашли варик ))
-
-
У нас помнится, чуть не тот же Умелец выложил Скрипт ( был батник до этого ) и он Исходник дал всем ( здесь на форуме ) и я вот думал его под второй Кеш, но чёт читаю вас и думаю пока нах не стоит его Трогать :)))
А так то после чистки, на Профили 4 Акка от разных ( и гугел там ) и норм, но растёт этот второй тож ( хотя думаю так бы основной рос ) :)))
Короче если я не Прав то меня поправьте и я даже даже буду рад ( на ошибках учаться, а у нас это залог успеха
, но мало ли ) :)))
-
@super84
ссылку можно попросить на тот исходник? его же гдето выкладывали на форуме, или в лс, если можно
лень самому писать)) -
@alexejpetrov2 Исходник сейчас поищю :)
-
@alexejpetrov2 Нашёл и вот в Архив да на ЯД - https://yadi.sk/d/v3XDNC6h6z1XeQ
