@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Асинхронный код в OnApplicationStart выполняется параллельно с другими потоками
-
В OnApplicationStart нужно сначала получить данные с сайта для дальнейшей работы потоков, но пока идет загрузка, начинают выполняться другие потоки. Пока использую костыль с глобальной переменной, которая укажет остальным потокам, что OnApplicationStart выполнился.
-
@blackhacker Спасибо что предупредили, тоже хотел в апликейшене спарсить, а это долго, а потом работать. Буду тоже мастырить костыль с глобальной переменной.
-
@blackhacker OnApplicationStart не может выполнятся паралельно с другими потоками, если это происходит так, то это большой баг, который нужно срочно фиксить.
Прикрепите пожалуйста проект, на котором такое происходит.Вот мой, по логу видно, что все потоки будут ждать пока все действия в OnApplicationStart не будут выполнены.
0_1489756245469_onappstart.xmlБыстрый способ решить любые проблемы с антидетект https://community.bablosoft.com/topic/12198
-
@support Если выполнять запрос (через http-клиент пробовал), то OnApplicationStart выполнится, не дожидаясь ответа от сервера (в OnApplicationStart должен был выполняться запрос, и данные помещаться в глобальную переменную, но другие потоки логировали об отсутствии данных в переменной. Сделал глобальную переменную ready, которая проверяется в других потоках, и идет ожидание, пока она не будет true). Сейчас постараюсь прикрепить проект, если все-таки понадобится. Готового нет, придется делать)
-
@blackhacker Опять же работает и так как вы описали.
0_1489756746635_onappstart.xmlБыстрый способ решить любые проблемы с антидетект https://community.bablosoft.com/topic/12198
-
@support Дико извиняюсь, ошибся. В проекте стояло условие, если число из распарсенных данных (количество страниц) меньше текущей страницы, то выводит ошибку. Поэтому думал, что потоки выполнялись параллельно. Но была ошибка в парсинге, поэтому условие выполнялось неправильно.
