@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Некорректная работа сортировки в базе данных?
-
Обучающие уроки: https://www.youtube.com/channel/UCEF70sUhoyJDnGN2vhZDcjQ
Программы на заказ (telegram): @olegtut -
@olegtut said in Некорректная работа сортировки в базе данных?:
@UserTrue said in Некорректная работа сортировки в базе данных?:
вас ) Никогда не было такой проблемы.
Нет предположений, с чем это может быть связано? не знаю, как подступиться к проблеме...
А вы уверены, что у вас все в порядке с данными?
-
@UserTrue said in Некорректная работа сортировки в базе данных?:
А вы уверены, что у вас все в порядке с данными?
да... а как пример, что может быть не в порядке?
Только сейчас создал другую таблицу в той же базе данных с большим количеством строк. Сортируются корректно. Значит, проблема в самой таблице, но вот только, что там может быть неправильного... -
@olegtut Могут быть неверными типы данных. То есть сама монго то съест любые, ей всеравно. Но в БАС прописывается схема данных, и если он ожидает строку, а там число то он ничего не выведет.
-
@UserTrue said in Некорректная работа сортировки в базе данных?:
@olegtut Могут быть неверными типы данных. То есть сама монго то съест любые, ей всеравно. Но в БАС прописывается схема данных, и если он ожидает строку, а там число то он ничего не выведет.
Спасибо, покопаю в этом направлении
-
@olegtut said in Некорректная работа сортировки в базе данных?:
@UserTrue said in Некорректная работа сортировки в базе данных?:
@olegtut Могут быть неверными типы данных. То есть сама монго то съест любые, ей всеравно. Но в БАС прописывается схема данных, и если он ожидает строку, а там число то он ничего не выведет.
Спасибо, покопаю в этом направлении
Можете подключиться к БД сторонним редактором и посмотреть что там происходит
-
Группа с фингерпринтами. 1 столбец дата, второй фингерпринт. Другие группы с фингерпринтами, где больше столбцов - нормально.
Если делать сортировку по "Все данные в таблице" - тоже не работает.Такая ерунда стала после обновления до 24.6.2. Что делать?
-
Почему бы вам не использовать просто внешнюю БД (на той же машине или на удаленном сервере), например MySQL (MongoDB, конечно, тоже хорошо работает). Есть десятки пакетов npm для этих задач на npmjs.com), которые можно легко использовать в BAS.
-
Тикет по этой проблеме есть, и он без низкого приоритета. Временные решения:
- не хранить большие данные в базе(такие, как данные отпечатка).
- Использовать 1 для размера страницы, параметр "Page size"
Пока нужно использовать временное решение. Для стабильного решения нужно обновлять версию mongo, это будет сделано позже.
