@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Отправка логов в хранилище
-
@jason said in Отправка логов в хранилище:
как мне получить доступ premium repo? оплатил премиум
Если вы были премум пользователем, то должны знать, что для этого есть специальные контакты, а не форум.
-
насчет мультилогина,
плачу им 100евро в месяц пару лет наверное, у меня там1 facebook
2 paypal
и пару сервисов типа mailgun итд,в принципе я бы перевел эти профили на fingerprint manager,
но там старая версия хрома.в той теме мой вопрос так и висит без ответа,
как можно там обновить версию. -
@jason said in Отправка логов в хранилище:
насчет мультилогина,
плачу им 100евро в месяц пару лет наверное, у меня там1 facebook
2 paypal
и пару сервисов типа mailgun итд,в принципе я бы перевел эти профили на fingerprint manager,
но там старая версия хрома.в той теме мой вопрос так и висит без ответа,
как можно там обновить версию.Версию fingerprint manager обновили до актуальной версии BAS
-
супер
почему например нельзя установить глобально ноду 14 на машину а вместо этого
использовать 8.6 которая не поддерживается многими npm.пользователи получают ошибки которые нельзя посмотреть через гугл,
никому не приходит в голову использовать 8.6 сейчас.и на форуме вы получаете вопросы типа в чем трабл,
я скопировал код почему не работает.реально сложно понять что это из за старой версии ноды.
ничего сложного там нет,
типа ставится бас если есть нода то использовать текущую версию.а вместо этого мы зачем то скачиваем 8.6 причем через раз почему то,
иногда там теряется что то итд. -
@jason said in Отправка логов в хранилище:
можно хотя бы подтвердить что вы получили запрос?
отправил вчера 16.43 по Москве.ответил в личке
-
@artihorror охуенно) Спасибо) Но я сделал через гугл формы))) ыыы капчи вроде нет)))