@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Использованные строки не удаляются из ресурса если ресурс более чем 1кк строк, Выполнение функций BAS_API в Nodejs
-
-
Ресурс настроен на удаление строки после использования, но ничего не удаляется если в ресурсе более чем 1кк строк. Так же не работает через действие Ресурсов "Удалить текущий элемент"
Размер ресурса определяется как 1000001 - что в общем-то неверно и вводит в заблуждение -
При копировании и вставке действия в редактор кода nodejs вставляется HEX действия, а не полноценный вызов функции баса
например это действие "Результат"
await BAS_API("_HEX:726573756c742822d0a1e280b9d0a0d198d0a1e280a0d0a1d193d0a1e280a0d0a1d193d0a0d198d0a1e280a0222c203029");Нельзя заменить параметры + слетает кодировка для ру букв при выполнении такого кода
Версия: 25.2.1
-
-
@testnetd по поводу вызова api bas из nodejs то в самом действие есть описание как его вызвать.
С большими ресурсами неочень удобно работать, лучше использовать бд, если умеете писать код. А не удаляет так как по всей видимости большие файлы читаются частями, что бы не грузить озу, а чтобы удалить строку из такого файла он должен быть полностью прочитан и перезаписан
-
по поводу вызова api bas из nodejs то в самом действие есть описание как его вызвать.
Вы можете вызвать любое действие BAS из кода node.js, включая действия работающие с браузером. Для этого вам нужно просто скопировать и вставить нужное действие прямо в редактор кода.
Смотрите данное видео чтобы узнать больше
Все так, но имя внутренней функции не вставляет, а вставляет HEX
С большими ресурсами неочень удобно работать, лучше использовать бд, если умеете писать код. А не удаляет так как по всей видимости большие файлы читаются частями, что бы не грузить озу, а чтобы удалить строку из такого файла он должен быть полностью прочитан и перезаписан
тогда надо где-то в создании ресурса об этом указать. очень запутывает) несколько дней не мог понять в чем проблема с учетом того что из остальных файлов все правильно читало и удаляло
-
@testnetd said in Использованные строки не удаляются из ресурса если ресурс более чем 1кк строк, Выполнение функций BAS_API в Nodejs:
тогда надо где-то в создании ресурса об этом указать. очень запутывает) несколько дней не мог понять в чем проблема с учетом того что из остальных файлов все правильно читало и удаляло
Есть такое, много таких моментов ))
-
@testnetd said in Использованные строки не удаляются из ресурса если ресурс более чем 1кк строк, Выполнение функций BAS_API в Nodejs:
Все так, но имя внутренней функции не вставляет, а вставляет HEX
Это было сделано из за конфлика управляющих символов в значениях некоторых действий BAS. Например кавычки в коде пользователя действия "Яваскрипт" при переносе в node js раньше выдавали синтаксическую ошибку
