@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Не подцеляется локальный профиль в многопотоке
-
При увеличении количества потоков до некоторого предела (От мощности PC видимо зависит) у части потоков начинает слетать подцепка профиля.
Просит авторизацию, как если бы профиль не подцепился. Профиль применяется везде один и тот же.Кто-то сталкивался с этим?
Как это можно решить, кроме как через перезапуск обычной или асинхронной функции, либо повторного залогинивания на сервисе? -
@AngelOfAncient said in Не подцеляется локальный профиль в многопотоке:
При увеличении количества потоков до некоторого предела (От мощности PC видимо зависит) у части потоков начинает слетать подцепка профиля.
Просит авторизацию, как если бы профиль не подцепился. Профиль применяется везде один и тот же.Кто-то сталкивался с этим?
Как это можно решить, кроме как через перезапуск обычной или асинхронной функции, либо повторного залогинивания на сервисе?Чекай есть ли в профилей отпечаток. У меня все четко цепляется.
-
@AngelOfAncient Это не из-за мощности, тоже как-то пытался один профиль в многопоток закинуть и столкнулся с такой же проблемой, в итоге стал отдельно сохранять куки в файл и подгружать их при старте профиля. И помимо этого замечал, что куки не всегда подгружались.
-
@FastSpace said in Не подцеляется локальный профиль в многопотоке:
@AngelOfAncient said in Не подцеляется локальный профиль в многопотоке:
При увеличении количества потоков до некоторого предела (От мощности PC видимо зависит) у части потоков начинает слетать подцепка профиля.
Просит авторизацию, как если бы профиль не подцепился. Профиль применяется везде один и тот же.Кто-то сталкивался с этим?
Как это можно решить, кроме как через перезапуск обычной или асинхронной функции, либо повторного залогинивания на сервисе?Чекай есть ли в профилей отпечаток. У меня все четко цепляется.
Отпечаток тут не причем.
-
@UserTrue said in Не подцеляется локальный профиль в многопотоке:
@FastSpace said in Не подцеляется локальный профиль в многопотоке:
@AngelOfAncient said in Не подцеляется локальный профиль в многопотоке:
При увеличении количества потоков до некоторого предела (От мощности PC видимо зависит) у части потоков начинает слетать подцепка профиля.
Просит авторизацию, как если бы профиль не подцепился. Профиль применяется везде один и тот же.Кто-то сталкивался с этим?
Как это можно решить, кроме как через перезапуск обычной или асинхронной функции, либо повторного залогинивания на сервисе?Чекай есть ли в профилей отпечаток. У меня все четко цепляется.
Отпечаток тут не причем.
Если у меня не цепаеться профиль, то там и не будет отпечатка и поток завершиться с ошибкой. У меня таких потоков нет.
-
@FastSpace да профиль есть и отпечаток есть, но бывает куки не загружаются. Куки получаешь, а там пусто.
-
@UserTrue said in Не подцеляется локальный профиль в многопотоке:
@FastSpace да профиль есть и отпечаток есть, но бывает куки не загружаются. Куки получаешь, а там пусто.
Возможно баг.
-
@FastSpace said in Не подцеляется локальный профиль в многопотоке:
@UserTrue said in Не подцеляется локальный профиль в многопотоке:
@FastSpace да профиль есть и отпечаток есть, но бывает куки не загружаются. Куки получаешь, а там пусто.
Возможно баг.
Если
новыйпрофиль работает меньше 30 сек, то у меня куки за этот период не сохраняются. Просто мне надо было для возраста профиля их сначала создавать и просто заходить на сайт и я с этим столкнулся. -
@UserTrue said in Не подцеляется локальный профиль в многопотоке:
Если
новыйпрофиль работает меньше 30 сек, то у меня куки за этот период не сохраняются. Просто мне надо было для возраста профиля их сначала создавать и просто заходить на сайт и я с этим столкнулся.Давно такое было, не использую профили меньше 30 сек) Да и какие еще 30 сек. Страница столько только грузиться бывает тяжелая.
-
@FastSpace После загрузки примерно 30 сек, да и на быстрых прокси нормальный сайт грузится пару секунд
-
@FastSpace Еще кейс с которым поймал такой баг. В главном поток скрипт быстро авторизировался, затем в несколько потоков запускалась функция с этим профилем и соответственно авторизации не было. На мой взгляд это баг хоть и не смертельный, если бы было хотя бы какое-то упоминание в описание, а так пока поймешь в чем дело кучу нервов и времени убьешь, хотя таких нюансов много, немало нервных клеток мне съел БАС в свое время ))))
-
@DrPrime said in Не подцеляется локальный профиль в многопотоке:
Ну разраб давно писал, что перед закрытием потока с профилем лучше дать ему немного времени, что бы записались изменения
Дак понимаешь дело в том, что таких где-то написанных и сказанных вещей куча и для новичков это может в секс превратиться. По идее поток перед тем как закрыться должен сохранять данные.
-
@UserTrue Я на 100% уверен, что у вас премиум. Оформите этот баг и отпишите на премиум-почту. Я как-то о баге отписывал на обычную почту, и мне сказали, что баг - это техническая проблема, и его надо отсылать через премиум. До сих пор так тот мой баг и не пофикшен...
-
@DoctorKrolic Если премиум это не значит, что исправят. Если с этим жить можно, то как правило такой баг если и исправят то очень не скоро. А премиум у меня кстати кончился, он мне особо и не нужен я его бывает покупаю только для поддержки бас.
-
@FastSpace said in Не подцеляется локальный профиль в многопотоке:
@UserTrue Это очевидный баг и новичкок додумается.
Я помню когда еще аки регал одного сервиса, то быстро завершал поток и авторизация не сохранялась.Ага, додумается... Тут без багов люди тупят и даже когда им объясняешь в чем у них проблема, то все равно не доходит, а тут додумаются. Да и бывают разные случаи. Бывает, рабочий скрипт перепилишь и фигакс, что-то не так работает и грешишь на себя и в голову не приходит, что это "очивидный" баг!
-
@UserTrue said in Не подцеляется локальный профиль в многопотоке:
@FastSpace said in Не подцеляется локальный профиль в многопотоке:
@UserTrue Это очевидный баг и новичкок додумается.
Я помню когда еще аки регал одного сервиса, то быстро завершал поток и авторизация не сохранялась.Ага, додумается... Тут без багов люди тупят и даже когда им объясняешь в чем у них проблема, то все равно не доходит, а тут додумаются. Да и бывают разные случаи. Бывает, рабочий скрипт перепилишь и фигакс, что-то не так работает и грешишь на себя и в голову не приходит, что это "очивидный" баг!
Сложные шабы на форуме пишут единицы. Для них это очевидно, насколько очевидно для новичков - ПОФИГУ.
Вообще чем меньше людей - тем лучше, поэтому не нужно стремиться к блаженному раю, где у всех все будет легко писать шабы. Не будет. -
@FastSpace said in Не подцеляется локальный профиль в многопотоке:
Вообще чем меньше людей - тем лучше, поэтому не нужно стремиться к блаженному раю, где у всех все будет легко писать шабы. Не будет.
Да знаешь, по мне дак лучше, что бы все работало как надо и БАС был платным! Было бы лучше, чтобы был например триал один поток без возможности компиляции и тп.
