@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Сохранение измененных кукисов в кукисы профиля
-
@UserTrue said in Сохранение измененных кукисов в кукисы профиля:
@vasya11 Есть баг... почему-то до сих пор он есть ))) Короче бас сохраняет куки переодически и не учитывает закрытие потока, тоесть если вы залогинились например на сайте и тут же закрыли поток то скорей всего авторизация не сохранится, может у вас подобный случай, попробуйте паузу добавить секунд 30
А если профиль зашел в кукл , набрал запрос, посмотрел 10 сек и ушел - тоже будет такой баг, что в кукисы не сохранится это?
-
@kuzkuz said in Сохранение измененных кукисов в кукисы профиля:
@UserTrue said in Сохранение измененных кукисов в кукисы профиля:
@vasya11 Есть баг... почему-то до сих пор он есть ))) Короче бас сохраняет куки переодически и не учитывает закрытие потока, тоесть если вы залогинились например на сайте и тут же закрыли поток то скорей всего авторизация не сохранится, может у вас подобный случай, попробуйте паузу добавить секунд 30
А если профиль зашел в кукл , набрал запрос, посмотрел 10 сек и ушел - тоже будет такой баг, что в кукисы не сохранится это?
Вполне может быть
-
@kuzkuz said in Сохранение измененных кукисов в кукисы профиля:
@UserTrue said in Сохранение измененных кукисов в кукисы профиля:
@vasya11 Есть баг... почему-то до сих пор он есть ))) Короче бас сохраняет куки переодически и не учитывает закрытие потока, тоесть если вы залогинились например на сайте и тут же закрыли поток то скорей всего авторизация не сохранится, может у вас подобный случай, попробуйте паузу добавить секунд 30
А если профиль зашел в кукл , набрал запрос, посмотрел 10 сек и ушел - тоже будет такой баг, что в кукисы не сохранится это?
Я вчера пару часов возился, все работало кроме изменения кук вручную. Глюков что не сохраняет при быстром завершении работы не встретил. Следил ооочень тщательно. Не запаривайся.
@kuzkuz said in Сохранение измененных кукисов в кукисы профиля:
Может быть можно принудительно заставить сохранить куки перед закрытием потока:?
Когда нечем заняться, то можно много чего сломать)
@UserTrue said in Сохранение измененных кукисов в кукисы профиля:
@kuzkuz said in Сохранение измененных кукисов в кукисы профиля:
@UserTrue said in Сохранение измененных кукисов в кукисы профиля:
@vasya11 Есть баг... почему-то до сих пор он есть ))) Короче бас сохраняет куки переодически и не учитывает закрытие потока, тоесть если вы залогинились например на сайте и тут же закрыли поток то скорей всего авторизация не сохранится, может у вас подобный случай, попробуйте паузу добавить секунд 30
А если профиль зашел в кукл , набрал запрос, посмотрел 10 сек и ушел - тоже будет такой баг, что в кукисы не сохранится это?
Вполне может быть
Не может :) Без примера не поверю. Стабильность - кремень.
-
@vasya11 said in Сохранение измененных кукисов в кукисы профиля:
Глюков что не сохраняет при быстром завершении работы не встретил. Следил ооочень тщательно. Не запаривайся
Это глюк профилей, если вы грузите и сохраняете куки вручную то все конечно будет работать
-
@UserTrue said in Сохранение измененных кукисов в кукисы профиля:
@vasya11 said in Сохранение измененных кукисов в кукисы профиля:
Глюков что не сохраняет при быстром завершении работы не встретил. Следил ооочень тщательно. Не запаривайся
Это глюк профилей, если вы грузите и сохраняете куки вручную то все конечно будет работать
Да не сохраняет вручную в профиль измененные куки. Возможно баг в связи со сменой формата кукисов текущего браузера. Я каждый профиль проверял через селект в субд.
Пацаны, вы с челом который нулевой роботностью кичится очень много дельного советуете, прямо ну вообще дофига, но половина советов "может быть", "наверное", "было так". Вы мне советы дельные давали, но стоит же иногда предположения проверять, а не посты\репу набивать. Я без наезда, не обижайтесь, пожалуйста, я хочу чтобы тут находили ответы на вопросы и советы, а не предположения. Часто пользуюсь поиском по форуму и почти всегда натыкаюсь на ложный путь.
-
@vasya11 said in Сохранение измененных кукисов в кукисы профиля:
@UserTrue said in Сохранение измененных кукисов в кукисы профиля:
@vasya11 said in Сохранение измененных кукисов в кукисы профиля:
Глюков что не сохраняет при быстром завершении работы не встретил. Следил ооочень тщательно. Не запаривайся
Это глюк профилей, если вы грузите и сохраняете куки вручную то все конечно будет работать
Да не сохраняет вручную в профиль измененные куки. Возможно баг в связи со сменой формата кукисов текущего браузера. Я каждый профиль проверял через селект в субд.
Пацаны, вы с челом который нулевой роботностью кичится очень много дельного советуете, прямо ну вообще дофига, но половина советов "может быть", "наверное", "было так". Вы мне советы дельные давали, но стоит же иногда предположения проверять, а не посты\репу набивать. Я без наезда, не обижайтесь, пожалуйста, я хочу чтобы тут находили ответы на вопросы и советы, а не предположения. Часто пользуюсь поиском по форуму и почти всегда натыкаюсь на ложный путь.
Блин я возможно действительно ввел в заблуждение, есть баг, что профиль не удаляется. С куками у меня как-то тоже что-то было, но я сейчас не смог вспомнить при каких условиях. Мелких багов куча, поэтому бывает сам путаюсь, а у вас все впереди! xD
P:S.: посты с репой на хлеб не намажешь xD, а я давно уже не беру заказы тут. Так что все что я тут пишу это благотворительность
-
@UserTrue said in Сохранение измененных кукисов в кукисы профиля:
@vasya11 said in Сохранение измененных кукисов в кукисы профиля:
@UserTrue said in Сохранение измененных кукисов в кукисы профиля:
@vasya11 said in Сохранение измененных кукисов в кукисы профиля:
Глюков что не сохраняет при быстром завершении работы не встретил. Следил ооочень тщательно. Не запаривайся
Это глюк профилей, если вы грузите и сохраняете куки вручную то все конечно будет работать
Да не сохраняет вручную в профиль измененные куки. Возможно баг в связи со сменой формата кукисов текущего браузера. Я каждый профиль проверял через селект в субд.
Пацаны, вы с челом который нулевой роботностью кичится очень много дельного советуете, прямо ну вообще дофига, но половина советов "может быть", "наверное", "было так". Вы мне советы дельные давали, но стоит же иногда предположения проверять, а не посты\репу набивать. Я без наезда, не обижайтесь, пожалуйста, я хочу чтобы тут находили ответы на вопросы и советы, а не предположения. Часто пользуюсь поиском по форуму и почти всегда натыкаюсь на ложный путь.
Блин я возможно действительно ввел в заблуждение, есть баг, что профиль не удаляется. С куками у меня как-то тоже что-то было, но я сейчас не смог вспомнить при каких условиях. Мелких багов куча, поэтому бывает сам путаюсь, а у вас все впереди! xD
P:S.: посты с репой на хлеб не намажешь xD, а я давно уже не беру заказы тут. Так что все что я тут пишу это благотворительность
Я может не про то понял, но если профиль не удаляется через действия работы с файловой системы, то я давно батники использую с %1 %2 что куда удалять или копировать. Потому как бас все копирует\удаляет через файловую кроме остановленного профиля. В итоге сейчас для работы с файловой системой батники на копирование, переименовывание, удаление и вот для работы с скулайтом. Костыли наше фффсие!
P:S.: посты с репой на хлеб не намажешь xD, а я давно уже не беру заказы тут. Так что все что я тут пишу это благотворительность
Яш без предъяв! Наоборот, спасибо за помощь все дела) Тем более не про борьбу за клиента. А часто заказывают?)))) Я вот со своим проектом уже второй месяц вожусь, времени нет вобще:(
-
@vasya11 said in Сохранение измененных кукисов в кукисы профиля:
Я может не про то понял, но если профиль не удаляется через действия работы с файловой системы, то я давно батники использую с %1 %2 что куда удалять или копировать. Потому как бас все копирует\удаляет через файловую кроме остановленного профиля. В итоге сейчас для работы с файловой системой батники на копирование, переименовывание, удаление и вот для работы с скулайтом. Костыли наше фффсие!
Я тоже такой батник выкладывал где в теме про этот баг
-
@vasya11 said in Сохранение измененных кукисов в кукисы профиля:
Я вчера пару часов возился, все работало кроме изменения кук вручную. Глюков что не сохраняет при быстром завершении работы не встретил. Следил ооочень тщательно. Не запаривайся.
Если я верно понял, БАС куки сохраняет своевременно и при выходе из профиля, даже если только что в браузере делались манипуляции. Нет необходимости принудительно сохранять перед выходом.
Можно будет конечно попроверять, но если этим заниматься по каждому вопросу который тут возникает то не останется времени на разраб скрипта ))
@UserTrue said in Сохранение измененных кукисов в кукисы профиля:
Вполне может быть
т.е. резюмируя - быть НЕ может?
-
половина советов "может быть", "наверное", "было так". Вы мне советы дельные давали, но стоит же иногда предположения проверять, а не посты\репу набивать.
Да, это сильно тормозит процесс. + потом это же в голове откладывается и к проблеме возвращаешься из раза в раз, а проблемы то не было и нет )
ps более опытным форумчанам спасибо большое за советы. -
@kuzkuz said in Сохранение измененных кукисов в кукисы профиля:
т.е. резюмируя - быть НЕ может?
Я проверял, все сохраняется нормально.