@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Что лежит в папке \BrowserAutomationStudio\apps\24.7.1\prof ?
-
-
@Nikolas said in Что лежит в папке \BrowserAutomationStudio\apps\24.7.1\prof ?:
Папка prof имеет большой размер (1,6 гб) ...в ней много разных папок. Что в ней лежит? Можно папку prof очистить?
В ней лежат временные папки профилей, ну или папки временных профилей, как угодно.. Смысл в том, что каждый раз, когда вы используете в скрипте браузер - создаётся профиль, если вы не используете действие "Создать или переключиться на постоянный профиль", то профиль создаётся в этой папке.
-
@Fox said in Что лежит в папке \BrowserAutomationStudio\apps\24.7.1\prof ?:
@Nikolas said in Что лежит в папке \BrowserAutomationStudio\apps\24.7.1\prof ?:
Папка prof имеет большой размер (1,6 гб) ...в ней много разных папок. Что в ней лежит? Можно папку prof очистить?
В ней лежат временные папки профилей, ну или папки временных профилей, как угодно.. Смысл в том, что каждый раз, когда вы используете в скрипте браузер - создаётся профиль, если вы не используете действие "Создать или переключиться на постоянный профиль", то профиль создаётся в этой папке.
Если я работаю исключительно с ранее созданными профилями, но в папке prof все равно каждый раз создаются новые папки - это нормально?
-
@Ressive
Если во время или после завершения работы BAS эти папки удаляются, то нормально. Если папки не удаляются, причиной может быть отсутствие прав на редактирование файлов и папок у BAS.
Попробуйте перенести BAS в корень диска или на другой диск. И уточните пожалуйста эти моменты:1.После остановки проекта, в папках с профилями есть файлы с названием "lockfile"?
2.Если есть, то удаляются ли они, если сделать это, используя модуль "Файловая система"?
3.Если перезапустить BAS, временные профили удалятся? А если перезагрузить сервер и запустить проект заново?
4.Проблема повторяется только с одним конкретным проектом или со всеми проектами?
5.Если использовать простейший проект, проблема повторяется? SimpleScript.xml
6.Если перенести папку с BAS ("BrowserAutomationStudio\apps"версия_BAS"") в корень диска, то есть, чтобы получился путь "C:"версия_BAS"", проблема повторяется? -
@m4zuper said in Что лежит в папке \BrowserAutomationStudio\apps\24.7.1\prof ?:
@Ressive
Если во время или после завершения работы BAS эти папки удаляются, то нормально. Если папки не удаляются, причиной может быть отсутствие прав на редактирование файлов и папок у BAS.
Попробуйте перенести BAS в корень диска или на другой диск. И уточните пожалуйста эти моменты:1.После остановки проекта, в папках с профилями есть файлы с названием "lockfile"?
2.Если есть, то удаляются ли они, если сделать это, используя модуль "Файловая система"?
3.Если перезапустить BAS, временные профили удалятся? А если перезагрузить сервер и запустить проект заново?
4.Проблема повторяется только с одним конкретным проектом или со всеми проектами?
5.Если использовать простейший проект, проблема повторяется? SimpleScript.xml
6.Если перенести папку с BAS ("BrowserAutomationStudio\apps"версия_BAS"") в корень диска, то есть, чтобы получился путь "C:"версия_BAS"", проблема повторяется?Спасибо за развернутый ответ, но проще наверное просто в настройках проекта, отключить кеширование профилей?
