@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
проблеммы в многопотоке
-
при запуске проектов в многопотоке начинают сыпаться ошибки. при запуске в 1 поток или в записи все прекрасно. Время от времени вылетает при обращении к удаленной базе. Скрипты работают на сервере, запас ресурсов огромный, пиковая нагрузка на цп 56% озу 32%. Дедики от азур DS3 v2
-
@artihorror какие ошибки?
-
@DrPrime не удалось дождаться элемента (в каждой ошибке разные) тайм аут 3 минуты (general). Грешил на сеть, с ней тоже все хорошо. Прокси свои с кэшем 15гб, сеть так же не перегружена.
-
@artihorror это значит что элементов не было на странице, возможно на сайте какая то форма всплыла, баннер, ошибка и т.д. Проблемные места пробуйте обернуть в игнорировать ошибки и делать скриншот, и потом фейл, увидите что в самом деле было на экране
-
@support а как такую проблему лечить?
Problem Event Name: APPCRASH
Application Name: BrowserAutomationStudio.exe
Application Version: 0.0.0.0
Application Timestamp: 592d01ca
Fault Module Name: Engine.dll
Fault Module Version: 0.0.0.0
Fault Module Timestamp: 592d01c4
Exception Code: c0000005
Exception Offset: 00000000000f8698
OS Version: 6.3.9600.2.0.0.400.8
Locale ID: 1033
Additional Information 1: 0c59
Additional Information 2: 0c59b43d75e9125f6fdbf71b75f76ad7
Additional Information 3: a5c9
Additional Information 4: a5c9d05ccc09d9efe26448eb9ca99c9bВыскакивает при обращении к удаленной базе, но не всегда
@DrPrime
сделал как Вы говорили, элемент присутствует, действия с ним не происходят. Для чистоты эксперемента юа и отпечатки не использовал и добавил перед каждым действием сон в 3 секунды -
создал еще 2 сервера с точно такими же конфигурациями. вотт проекты:
1_1497110007757_mail.xml
0_1497110007757_cryptonator.xml
в текстовике данные для подключения к серверам 0_1497110064094_auth.txt
прокси в облаке, сохранение всего и вся в проектах идет туда же -
@support посмотрите пожалуйста причины вылета баса при обращении к удаленной базе. с локальной такой проблемы не было.
-
открываю менеджер данных
-
смотрю/редактирую, закрываю
-
пытаюсь открыть менеджер данных еще раз - вылет.
или так:
-
два проекта подключенных к одной базе. открыл первый, подправил, закрыл.
-
открыл второй, нажал запись - вылет
-
-
@artihorror said in проблеммы в многопотоке:
@support посмотрите пожалуйста причины вылета баса при обращении к удаленной базе. с локальной такой проблемы не было.
-
открываю менеджер данных
-
смотрю/редактирую, закрываю
-
пытаюсь открыть менеджер данных еще раз - вылет.
или так:
-
два проекта подключенных к одной базе. открыл первый, подправил, закрыл.
-
открыл второй, нажал запись - вылет
зашел на дедик залил троянчика )) шутка
файрвол на деде вырубил, вроде все нормально стало, глянь -
-
@Zenodrot said in проблеммы в многопотоке:
@artihorror said in проблеммы в многопотоке:
@support посмотрите пожалуйста причины вылета баса при обращении к удаленной базе. с локальной такой проблемы не было.
-
открываю менеджер данных
-
смотрю/редактирую, закрываю
-
пытаюсь открыть менеджер данных еще раз - вылет.
или так:
-
два проекта подключенных к одной базе. открыл первый, подправил, закрыл.
-
открыл второй, нажал запись - вылет
зашел на дедик залил троянчика )) шутка
файрвол на деде вырубил,проверил вроде все нормально, гляньДолго чет тебя нет, кароче я на деде пароль сменил на всякий случай (во избежании юзания залетных проходимцев под сканы и нехорошие дела), пасс положил в папку "123" дропбокса
-
-
-
@artihorror said in проблеммы в многопотоке:
а как такую проблему лечить?
Выскакивает при обращении к удаленной базе, но не всегда
Вот отладочная версия https://bablosoft.com/distr/BrowserAutomationStudioDevelopment/debug.18.7.0.zip
Запустите ее, дождитесь вылета и пришлите мне файл crashdump.dmp -
сделал как Вы говорили, элемент присутствует, действия с ним не происходят.
Действие Выбрать Случайный Элемент Из Комбобокса может выбрать любой элемент, в том числе и первый, который равен "month", из-за этого в многопотоке иногда может возникать такая ошибка.
-
@artihorror said in проблеммы в многопотоке:
посмотрите пожалуйста причины вылета баса при обращении к удаленной базе. с локальной такой проблемы не было.
открываю менеджер данных
смотрю/редактирую, закрываю
пытаюсь открыть менеджер данных еще раз - вылет.
или так:
два проекта подключенных к одной базе. открыл первый, подправил, закрыл.
открыл второй, нажал запись - вылет
Пробовал у себя, не вылетает. Можете запустить отладочную сборку, которую я выложил выше и прислать дамп?
Быстрый способ решить любые проблемы с антидетект https://community.bablosoft.com/topic/12198
-
@support нехватку библиотек исправил (msvcp120d, msvcr120d), (закинул в папку с эксешником). Советы гугла выполнил, результат тот же
-
@artihorror Ок, сейчас подправлю и перезалью.
-
@artihorror А ось х64?
Быстрый способ решить любые проблемы с антидетект https://community.bablosoft.com/topic/12198
-
@support Microsoft Windows 10 Pro Версия ОС 10.0.15063.296 да, 64)
