@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Помогите понять в чем проблема
-
Суть вопроса такова: может ли скрипт работать не корректно из-за не хватки ОЗУ или из-за того что пишется на одном ПК, а потом запускается на ноуте?
Поясню в связи с чем вопрос, просто уже голову сломал, пробовал по всякому, но проблема остается.
Так вот, пишу скрипт на своем пк, компилирую, запускаю готовый софт и тестирую некоторое время. Все отлично, все действия выполняет, а в случае возникновения како-либо ошибки в одном из потоков, он просто запускает функцию с действиями по новой в этом потоке, остальные так и продолжают работать. (функция завернута в игнор ошибок)
Казалось бы все идеально, НО!
Закидываю на ноут, устанавливаю, запускаю и тут начинается...
Во-первых, часто в любом месте ошибка в том, что он не может найти элемент, а он там 100% есть (действия связанные с проверкой или кликами по элементам записаны НЕ по координатам, а через xpatch либо match)
Во-вторых, при возникновении ошибки поток просто вылетает, т.е. завершает работу из-за ошибки, а должен по сути перезапустить действия.Длительное время уже бьюсь над этим, пробовал по разному и действия с элементами, и игнор ошибок, пробовал заворачивать в игнор как отдельные функции, так и все скопом))
При тестировании на моем ПК все отрабатывает идеально, но на другом ноуте постоянно летят разные ошибки и не работает игнор ошибок, не перезапускает функции, а просто завершает работу потока
-
@Bigshow8 said in Помогите понять в чем проблема:
При тестировании на моем ПК все отрабатывает идеально, но на другом ноуте постоянно летят разные ошибки и не работает игнор ошибок, не перезапускает функции, а просто завершает работу потока
Можете приложить тестовый проект, который корректно работает на вашем пк и не работает на ноутбуке? Тестовый скрипт должен содержать только действия, которые необходимы для повторения ошибки, всё остальное должно быть удалено
-
только там немного заморочено, так как по-другому уже незнал как делать
сразу объясню, всего несколько функций, в одной из них чаще всего появляются ошибки и она завернута в игнор с переходом к первой функции в случае ошибки.
И все эти функции находятся в одной общей, которая стоит в майн после еще нескольких действий, и вот она тоже в игноре)
test123.xml -
-
@Bigshow8 бегло глянул и увидел самую грубую ошибку - никогда, слышите, никогда не называйте метки как что либо другое в скрипте.
У вас метки совпадают с названиями функций - это может приводить к непредсказуемым результатам !Так же, все xpath у вас фактически автоматически сгенерированные - это как бы не надежно, и на разных разрешениях ( а иногда и просто так) приводит к неправильным действиям.
-
@kingsize
С этим понял, спасибо. Пробовал вручную писать xpath (смотрел много видео обучающих и прочей информации как это делать), но там меняется коды элементов и даже если зацепиться за статичный элемент, то в следующий раз он не срабатывает, а автосгенерированные хотя бы чуть больше работают чем так)
Но не спорю, возможно в силу недостатка опыта это всё) -
@Vituskosoy
спасибо за ответ. Но не совсем понял это)
Просто если происходит ошибка в одной функции, то там лучше начать с начала (с другой функции, где другие действия), поэтому переход по метке туда.
А если все в одну функцию запихать это же какая каша получится!)
хотя у меня там итак уже каша получилась пока пробовал исправить, нагородил еще больше)) -
@Vituskosoy
А, я кажется понял, нужно не метки лепить, а типо если ошибка, то вызов функции (нужной) ? так? или я опять не так понял)) -
@kingsize said in Помогите понять в чем проблема:
чебурнет
Эта кака, помогает не хапануть вирусов разных мастей. Не хочется гробить железо, ради убеждений кого то там.
-
Извиняюсь за наглость, но сразу в тему такой вопрос, есть ли возможность задать такое действие, чтоб скрипт при возникновении ошибки и вылете потока, не просто игнорил ошибки или что-то в этом роде внутри скрипта, а просто останавливал полностью и перезапускал весь скрипт?
Ну так, как это делается вручную, когда нажимаешь кнопку - остановить (немедленно) и затем кнопку - перезапуск
? -
@Bigshow8 said in Помогите понять в чем проблема:
Извиняюсь за наглость, но сразу в тему такой вопрос, есть ли возможность задать такое действие, чтоб скрипт при возникновении ошибки и вылете потока, не просто игнорил ошибки или что-то в этом роде внутри скрипта, а просто останавливал полностью и перезапускал весь скрипт?
Ну так, как это делается вручную, когда нажимаешь кнопку - остановить (немедленно) и затем кнопку - перезапуск
?
-
@Fox
спасибо. Но это завершение, он же не перезапустится сам.
Задача в том, чтобы допустим я оставил пк работать и скрипт не вылетал, а просто перезапускался без моего участия, я конечно могу заходить удаленно и проверять, но не всегда есть инет в отъезде, да и это не удобно) -
@Dodok said in Помогите понять в чем проблема:
Эта кака, помогает не хапануть вирусов разных мастей. Не хочется гробить железо, ради убеждений кого то там.
Не хапнуть вирусов помогает примерное поведение :) а что nod32 запретили ? или там религия ....
-
@Bigshow8 said in Помогите понять в чем проблема:
@Fox
спасибо. Но это завершение, он же не перезапустится сам.
Задача в том, чтобы допустим я оставил пк работать и скрипт не вылетал, а просто перезапускался без моего участия, я конечно могу заходить удаленно и проверять, но не всегда есть инет в отъезде, да и это не удобно)То, что вы говорите, это пример неправильно созданной логики работы, больше смахивающий на огород. Но если очень нужно, вы можете запускать скрипт в режиме
--silent, завершать его через действие "Прервать скрипт", а перезапускать скрипт можно с помощью действия "Запустить Процесс" отключенной опцией "Ждать завершения" перед завершениемTIMEOUT /T 60 start BrowserAutomationStudio.exe
