@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
FOX или те кто в node шарит придите))
-
Хочу сделать слушалку запросов)
План такой
Через hosts перенаправлять запрос на локальную машину от другой программы
Слушать запрос басом (прем саппорт сказал что нужно через node делать, мануалы не помогают)
передавать в бас запрос подготовить ответ для программы и отправить ответ от имени сервера обращения))
Звучит сложно но те кто пользовался чevil или capmonster у них такая же система перехвата с капчей, вот такой модуль хочу научиться писать)Помогите)) У меня от кодера только логика, знаний языка 0, не хочу учить))
-
@fluffik said in FOX или те кто в node шарит придите)):
Хочу сделать слушалку запросов)
План такой
Через hosts перенаправлять запрос на локальную машину от другой программы
Слушать запрос басом (прем саппорт сказал что нужно через node делать, мануалы не помогают)
передавать в бас запрос подготовить ответ для программы и отправить ответ от имени сервера обращения))
Звучит сложно но те кто пользовался чevil или capmonster у них такая же система перехвата с капчей, вот такой модуль хочу научиться писать)А где здесь слушалка то? Проще подожди апдейта, скорее всего в следующей версии это будет из коробки.
Помогите)) У меня от кодера только логика, знаний языка 0, не хочу учить))
Для тех, кому лень, давно уже есть специальная ветка
-
-
@fluffik said in FOX или те кто в node шарит придите)):
@fox Слушалка в моменте передачи запроса на локальную машину через хостс, нужно этот запрос услышать и обработать)))
Файл hosts перенаправляет запросы с домена на указанный ip адрес, причём здесь слушалка? Не проще сразу в BAS указать ip адрес и порт "слушалки" (прокси) ?
А по срокам не известно когда будет такая штука?
Релиз новой версии BAS должен быть на днях, но я не знаю, будет ли там добавлена эта фишка.
-
-
@bigorat said in FOX или те кто в node шарит придите)):
@fox said in FOX или те кто в node шарит придите)):
Релиз новой версии BAS должен быть на днях, но я не знаю, будет ли там добавлена эта фишка.
Уже вышел 22.0 :)
Ухты, качаю
:D -
-
Да, походу я перепутал, реализована замена html страницы до ее выполнения, а не "слушалка". Но в официальную сборку её тоже не завезли
:DА вообще больше не буду ни чего анонсировать.. Потом с меня же и спрашивать будут
-
-
@tts9 said in FOX или те кто в node шарит придите)):
@fox said in FOX или те кто в node шарит придите)):
Но в официальную сборку её тоже не завезли
А можно поподробнее. Как реализовано? 😊
По аналогии работы с кешем