@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Не подцеляется локальный профиль в многопотоке
-
@UserTrue said in Не подцеляется локальный профиль в многопотоке:
@FastSpace said in Не подцеляется локальный профиль в многопотоке:
@UserTrue said in Не подцеляется локальный профиль в многопотоке:
@FastSpace said in Не подцеляется локальный профиль в многопотоке:
Так итак платный. У меня лицензия на год и FP на 3 месяц.
Сейчас в BAS все есть, разработчику достаточно пилить только анонимность и все больше ничего не нужно. Все эти баги сами закостылим как-нитМне то тем более фиолетово, даже на анонимность, так как если мне сильно надо я изучаю защиту конкретного сайта и делаю подмену нужных параметров. Но так я люблю БАС мне хочется, что бы он был реально крутым! )
Ну тогда вообще не понятно зачем тебе это рай для всех, чем больше людей пишет сложные шабы, тем всем сложнее сайты крутят гайки.
С твоей логикой непонятно зачем разрабу БАС вообще этот продукт давать кому либо, ну пилил бы он(или его команда) регеры и тп
Кстати, когда доделают FM тебе наверное совсем поплохеет ))
Нужен, но определенный лимит аудитории должен быть платежеспособной, а не рай для всех васей из 7б. Разработчик так сам себе навредит, если всем создать рай.
-
@FastSpace На данный момент "рай" может быть только для платёжеспособных. Без вклада в fingerpeint switcher, платные прокси либо mass tunneler нормально ботоводить не получиться.
-
@DoctorKrolic это не в счёт посмотрите сколько стоит просто мла браузер или зенка.
-
Коллеги, давайте все же вернёмся к теме треда)
Я под Премиумом это делаю, раньше под бесплатной версией, но ошибка сохраняется.Коллеги в личке предлагают костыли:
- Перед каждым профилем поставить сон и этим создать время которое БАСу не хватает на подтягивание профиля.
- Попробовать залогинится в одном профиле и скопировать эту папку на все остальные профили.
- Попробовать создать профиль и скопировать в абсолютно разные папки.
Надо тестить, но по одной папке с профилем на каждый поток - это сильный перерасход места на харде, ИМХО.
@UserTrue писал про время в 30 секунд, что бы профиль успевал сохранить изменения. Но если бы это было так, то запуск в 2-3 потока наоборот бы работал хуже, потому что 2-3 потока подгружаются за 5-10 секунд, и при этом работают корректно. Проблема с разлогиниванием начинается от 10-ого где-то браузера на стандартной по мощности машине.
Давайте подобьём итог, какие костыли для этого использовать?
Выше писали про отдельную загрузку Cookies. Помогает? -
@AngelOfAncient said in Не подцеляется локальный профиль в многопотоке:
Я под Премиумом это делаю, раньше под бесплатной версией, но ошибка сохраняется.
Они ни чем не отличаются. Если у вас премиум то можете сделать тестовый скрипт и отправить в поддержку.
-
@AngelOfAncient кстати правильней сказать, что не чтобы профиль должен минимум 30 сек отработать, а скорей что он примерно раз в 30 секунд сохраняется.
-
@UserTrue у меня проблемы были при загрузке профиля, в многопотоке, решилось тем что поставил Сон на 10 секунд, перед каждой загрузкой профиля, 10-тый профиль начинал грузиться через 1,5 минуты:D
-
@vsyacheskiy said in Не подцеляется локальный профиль в многопотоке:
@UserTrue у меня проблемы были при загрузке профиля, в многопотоке, решилось тем что поставил Сон на 10 секунд, перед каждой загрузкой профиля, 10-тый профиль начинал грузиться через 1,5 минуты:D
Может диск убитый? У меня на подуставшем харде такое было.
-
@FastSpace та хрен его знает? Попробую проверить сектор
-
@vsyacheskiy said in Не подцеляется локальный профиль в многопотоке:
@FastSpace та хрен его знает? Попробую проверить сектор
Если профилей много, я бы работал только с SSD.
-
@FastSpace братишка, у меня сейчас другие траблы, как можно включить в 1 функции 4 потока, и каждый поток должен взять себе по лок.профилю, через номер потока и иф пробовал, номер потока который заходит в функцию сложно угадать, это нужно какой то счётчик поставить, через который потом можно делать условия в if, не знаешь как это можно сделать?
