@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
удаление после использования в ресурсе в коде скрипта
-
я тоже, что-то там придумывал на этот счет, но уже не помню нифига, копаться лень, но что-то там придумывал :) В целом если совсем не критичные данные можно, что-то придумать, а так база данных - И как говорил мистер Черт - ни каких проблем...
-
@sergerdn said in удаление после использования в ресурсе в коде скрипта:
В процессе создания ресурса можно указать "удалять после использования", а как изменить это в коде скрипта?
Задача - при определенных настройках при старте скрипта включать или выключать такое поведение.
Смотрю на API создания ресурса и не понимаю, где нужная мне настройка.
RCreate(resource_name, successes, fails, simultaneous, interval, greedy, dont_give_up)В настройках кубика создания ресурса тоже ничего нет.
Причем мне нужно, чтобы строки удалялись из файла сразу же, как поток закончит работу, а не после остановки скрипта.
Если очень нужно, вы можете создать полный аналог ресурсов через действия BAS. Перед началом работы читайте содержимое файла, создайте массив объектов с ключами "успешное использование", "ошибочное использование", "данные" и "время последнего использования". Получать данные из массива объектов можно фильтруя по дате использования, либо добавить отдельный от массива объектов ключ с индексом последних использованных данных.
Для корректной работы с файлом вам понадобится реализовать семафор, что бы в один момент времени с файлом работал только один поток.
Для реализации логики по завершению потока нужно будет поместить все действия в функцию, а её вызов добавить в игнорирование ошибок, после вызова по условию WAS_ERROR увеличивать значение ключа ошибочное использование или успешное.
Так вы сможете хоть на лету менять количество использований, синхронизировать данные с файлом когда вдумается, выводить статистику использований и всё что ещё будет угодно
-
Спасибо за подробную инструкцию, проблемы BAS в том, что я не могу написать тесты на свой код, и уже тем более никакого code coverage не будет.
Именно поэтому меня любые костыли в BAS смущают. В свое время я себя пересилил и написал реализацию именованных блокировок, но у меня выбора не было, они мне как воздух нужны и заменить нечем.
-
@sergerdn said in удаление после использования в ресурсе в коде скрипта:
Мне кажется, я туплю, если сделать ресурс с настройками удаления, но поставить success и fail большое число, то BAS не должен удалять, пока не достигнет этого огромного числа.
А если мне надо удалять, то я ставлю перед запуском скрипта настройки success и fail единичка, тогда BAS должен удалять.
Надо проверить.
Не сработало, BAS не синхронизирует в файл изменения в ресурсе, из файла читать читает, если подкинуть туда свежие строки, но не пишет туда.
То есть по умолчанию синхронизация работает в одну строну.
-
@UserTrue said in удаление после использования в ресурсе в коде скрипта:
@sergerdn RSync(Name)
Сработала в начале каждого потока довольно странная конструкция, спасибо, что подсказал. В который раз убеждаюсь - надо иногда отдыхать.
if ("ProxyFile" in _R && _R["ProxyFile"]) { _R["ProxyFile"].die() _R["ProxyFile"] = null } // особенно вот эта часть удивляет, подсмотрел ее в сгенеренном коде BAS. if (true) RSync("ProxyFile") -
-
-
-
-
@FastSpace said in удаление после использования в ресурсе в коде скрипта:
@sergerdn Когда кастомил ченить, сломал.
Я переустановил BAS, удалил полностью старую версию перед этим, создал новый скрипт и он все равно с отсутствующим меню.
-
-
@m4zuper said in удаление после использования в ресурсе в коде скрипта:
@sergerdn
Удалось повторить, передам разрабу, как ответит - отпишусьСпасибо, если будет обходной путь, по сочетанию клавиш вызвать меню или еще что, пожалуйста, сразу отпиши.
