@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Происходит замена символов в русском тексте на "�" в случайных местах при использовании функции JSON.parse
-
@maxamirys said in Происходит замена символов в русском тексте на "�" в случайных местах при использовании функции JSON.parse:
- Достаю из базы данных значения и помещаю в переменную [[WORK_ADVERT]]
- запускаю скрипт который парсит строки: [[WORK_ADVERT]] = JSON.parse([[WORK_ADVERT]]);
- и на выходе получаю в случайных местах вот такой знак "�". Пример "Лод��ия застекленная"
На скрине видно как записано в базе и как получилось на выходе
Подскажите в чем может быть причина?
А зачем вы используете ноду? В "Выполнить код" работает корректно метод "JSON.parse()", да и вместо "JSON.parse()" достаточно использовать действие "Изменить формат" из модуля "JSON"
-
Доброго дня!
Подскажите вылетает такая же ошибка. Сделал ваши рекомендации, а ошибка все равно вылетаетВот свежие скрины
На скрине видно как храниться сейчас в базе(Там верное значение нет символов �) и как в конечном счете строка записалось в переменную(С ошибками с символом �).Заметил что в большинстве случаем появляется � когда идешь дальше по коду. Тоесть в начале в переменную все верно записалось, а потом что-то происходит и она меняет мне данные в переменной на этот вопрос. Обычно это присходит после использования использования node js(Но там код не так много и нет изменения это переменной). Сколько не пробовал отловить из за чего она меняется так и не понял.
И самое интересное, что она это делает через раз. Один раз выведет �, а делаешь второй раз и все хорошо. И тут не угадаешь когда будет не так.
Заметил что если медленно по коду идешь все исправно работает. А если с самого начало кнопку плей нажимаешь и оно быстро бежит вот тут пояляется это вопросик �.В чем может быть причина? Подскажите пожалуйста!
-
@maxamirys said in Происходит замена символов в русском тексте на "�" в случайных местах при использовании функции JSON.parse:
И самое интересное, что она это делает через раз. Один раз выведет �, а делаешь второй раз и все хорошо. И тут не угадаешь когда будет не так.
Я смог повторить проблему определённым образом, но она плавающая. Данный баг передан разработчику.
-
+, у меня тоже есть эта проблема в модуле SQL
и еще из за определенного символа бывает модуль не может получить строки из базы и возвращает какую то левую информацию -
@marorof626 said in Происходит замена символов в русском тексте на "�" в случайных местах при использовании функции JSON.parse:
+, у меня тоже есть эта проблема в модуле SQL
Модуль SQL проблемный, вообще все модули в BAS, что работают с БД проблемные. Надо пилить все самому.
-
Сейчас получилось ее повторить и точно зафиксировать когда происходить похожая проблема!
- Достаю данные из базы в переменную есть скрины выше. Тут все происходит хорошо в переменную записывается правильная информация.
- после мне необходимо проверить данные в переменной и если они не верные поправить их. Использую для этого ноду и после использования она ломает запись, делает в ней "вопросики - � "
На примере видно как в переменной [[WORK_ADVERT]].title проверяю на правильность тире и вслучае если нашла не то тире заменить его на правильное. После этого кода меняется строка на неправильную появляются "вопросы -�"
-
@maxamirys said in Происходит замена символов в русском тексте на "�" в случайных местах при использовании функции JSON.parse:
Нашел решение! Во всяком случае работает стабильнее!
ноду заменил на яваскриптТут не это не то не нужно, используйте "выполнить код" . Этот баг с Nodejs известен, видимо его так и не исправили...
-
@sergerdn said in Происходит замена символов в русском тексте на "�" в случайных местах при использовании функции JSON.parse:
@marorof626 said in Происходит замена символов в русском тексте на "�" в случайных местах при использовании функции JSON.parse:
+, у меня тоже есть эта проблема в модуле SQL
Модуль SQL проблемный, вообще все модули в BAS, что работают с БД проблемные. Надо пилить все самому.
Их всего два, один работает на nodejs, второй нет. Проблема этого топика связана именно с nodejs, можете описать какие проблемы есть в модуле работы с дефолтной базой данных?
-
@Fox said in Происходит замена символов в русском тексте на "�" в случайных местах при использовании функции JSON.parse:
можете описать какие проблемы есть в модуле работы с дефолтной базой данных?
Мы уже общались на эту тему на это форуме, вкратце - нельзя соединится с удаленным сервером MongoDB по множеству причин, одна из которых модуль в BAS не обновлялся много лет.
-
В модуле в ячейку откуда то добавляется символ ls, из за чего потом он не может получить строки из бдИ действие получить все строки возвращает:
-
@maxamirys это проблема в бас, вы не можете это исправить.
-
@marorof626
У вас эта проблема происходит без использования NodeJS? Если да, то уточните, пожалуйста, как это можно повторить? Можете прикрепить тестовый проект? -
@marorof626 Уточните, пожалуйста, как можно это повторить намерянно? Можете прикрепить тестовый проект?
