@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
сделать чтоб весь кеш загружался в одну папку в одном месте
-
@sergerdn said in сделать чтоб весь кеш загружался в одну папку в одном месте:
Таким образом получаем, что при рестарте потока каждый поток работает со свой папкой, при первом старте кэш пустой, при последующих - остался от предыдущих потоков.
ага, такую опцию уже себе поставил одну из) удобно когда по тому же сайту ходить надо тыщщи раз)
ну и очистку кеша или всего профиля - то в настройке выше при необходимости выбрать)и по поводу этих ключей, я так понял что они по умолчанию именно так и стоят в настройках браузера
--disable-gpu-program-cache
--disable-gpu-shader-disk-cache
--disable-features=GpuProcessHighPriorityWin,GpuUseDisplayThreadPriority -
@basuser123 Вы у меня Улыбку на лице создаёте, помнится Кузкуз может так, но вы всех превзошли.
Что за вот интересно Кодер, за которго решают Логику :))) -
@UserTrue said in сделать чтоб весь кеш загружался в одну папку в одном месте:
Я долго ждал пока кто-нибудь посмотрит ключа запуска и заметит --disk-cache-dir , но было прикольно наблюдать за выдумыванием различных костылей с символными ссылками и тп )
хм
.хотя до этого несколько дней назад я у него именно это и спрашивал
вот и верь после этого ai) чо там от него наш разраб хочет такого волшебного я хз))
хотя там очень многое зависит от умения формулировать вопрос так чтоб он ответил. если правильно спрашивать он тебе расскажет и как порты сканировать для хака, и как из листьев коки кокаин гнать) но это сцк целое исскуство, иногда хочется просто быстро задать вопрос и получить нормальный ответ)@Alex84
так а чо кодер, ему надо тз дать, а как ты его дашь если сам не до конца понимаешь всех возможностей и невозможностей)
и даже после этого еще надо проходить с наждачкой чото улучшать не один раз)
вот, сижу изобретаю велосипед, хули... -
This post is deleted!
-
@basuser123 said in сделать чтоб весь кеш загружался в одну папку в одном месте:
хотя до этого несколько дней назад я у него именно это и спрашивал
chatGPT может ускорить, то что ты и так знаешь как сделать хотя бы концептуально, а если не знаешь тогда плохая идея ) Он иногда просто выдумывает ответы или пишет правдоподобный код ))
-
This post is deleted!
-
@basuser123 said in сделать чтоб весь кеш загружался в одну папку в одном месте:
вот и верь после этого ai)
Я же давал выше ссылку https://peter.sh/experiments/chromium-command-line-switches/#disk-cache-dir, этот сайт обязан быть в закладках у каждого, кто занимается автоматизацией браузера.
Ну и исходники Chromium тоже доступны.
-
Кто захочет сделать тоже самое - так тоже не работает
Проверил - почти все файлы в общей папке кеша заново перезаписываются раз в 2-3 дня, нет такого чтоб они собирались и росли все вместе со всеми профилями, и брали уже загруженый кеш друг у друга. И сама центральная папка не растет больше тех же 450-500мег
Вобщем этот вариант - не вариант, не тратьте свое время на эту схему) Максимум кеш каждого профиля сохраняйте в его же папку а по необходимости очистки места просто удалите её, точнее три их (cache, code cache и Service Worker)
-
@basuser123 не пробовали кеширующий прокси сервер себе поставить?
p.s. лично для меня дешевле вышло купить дополнительный ssd и отключить лимиты кеша браузера чем настраивать кальмара. -
@tet-vivi said in сделать чтоб весь кеш загружался в одну папку в одном месте:
p.s. лично для меня дешевле вышло купить дополнительный ssd и отключить лимиты кеша браузера чем настраивать кальмара.
Это нужно не для этого, а чтобы убитые прокси резиденты не кушали много трафика, ибо там 1 гиг $ стоит.
-
@FastSpace
да верно)
подскажи мне вот такой вопрос пока просто теоретический
вот я вижу что на рынке есть юс мобильные прокси цена 1к в год за порт если брать за год
если разделить на 365 дней получается 2,7 бакса в день
обычные говнопрокси сейчас стоят от 3 бакса за гиг
т.е. как я понимаю если выйти на объем работы от 1 гига в день то будет выгодно брать эти мобильные прокси? риски как я вижу только могут быть если ты заплатишь за год сегодня а они закроются через месяц. и второе что если брать 1 порт то он будет в одной локации все время но это не большая проблема если это один большой город.. ну и дальше если расти по объему добирать портов в других городах в дальнейшем
или еще какие-то нюансы могут быть, которые я пока не вижу? -
@basuser123 да, есть нюанс. Хороших прокси нигде купить нельзя.
-
-
@basuser123 Да дело не в этом, это реально факт что 99% покупных прокси лего палится было был желание у сервиса. Палится именно сам факт, что ты используешь прокси. Конечно это не говорит, что прямо сразу забанят, просто это может снизить к тебе доверие, давать больше капч, требовать больше различных подтверждений и само собой выше вероятность бана. Большинство сервисов делают не специалисты, а просто по гайду с интернета собрали ферму на модемах и заказали сайт )
-
@UserTrue ну как бы 99 % предприятий из корпаративной сети выходят в инет через прокси, И как бы 99% своего времени, люди находятся на работе - это как бы не повод чего-то там решать в отношении проксированных. Кроме того, сами крупные сервисы частенько проксируют запросы внутри своей облачной инфраструктуры ....
Проф деформации сказываются на восприятии мира ;)
-
@Nicolas А я что сказал, что это 100% повод? Я сказал, что это один из факторов или вы думаете, что антифроды настолько примитивны, чтобы все сводить к одному? Конечно к нормальному пользователю, не новорегу и с нормальной активностью вопросов не будет, даже если ты через паблик прокси зайдешь лишь бы сам Ip не был в бане.
И это не дефформация, а опыт абуза
-
@Nicolas said in сделать чтоб весь кеш загружался в одну папку в одном месте:
@UserTrue ну как бы 99 % предприятий из корпаративной сети выходят в инет через прокси, И как бы 99% своего времени, люди находятся на работе - это как бы не повод чего-то там решать в отношении проксированных. Кроме того, сами крупные сервисы частенько проксируют запросы внутри своей облачной инфраструктуры ....
Проф деформации сказываются на восприятии мира ;)
Корпоративные клиенты выходят ещё с резидентных и мобильных ip при этом в интернет. Такую глупость не написал бы человек имея свой трафик с минимальным его анализ. В живом трафике доля таких людей до 3% и ip адреса там хостинг провайдеров.
