@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Корректное определение значений строк в многопоточном режиме
-
Добрый день. Возникла сложность в решении следующей проблемы.
Входные данные:
есть несколько ресурсов:
1ый - № аккаунта и имя;
2ой - прокси; (важно иметь именно во втором ресурсе, без изначального добавления данных в первый ресурс).Режим работы - многопоточный.
Как организовать работу каждого аккаунта в режиме многопотока таким образом, чтобы подтягивались данные с определенной строки (1 аккаунт - 1 строка прокси, 3 аккаунт - 3 строка, и т.д).
Ибо возникает ситуация, что при запуске второго потока, подтягиваются данные именно первой строки ресурса № 2 (прокси).Как выстроить логику работы скрипта, чтобы при запуске второго аккаунта (ресурс № 1), подтягивались данные второй строки (ресурса №2 - прокси).
Какой инструмент нужно использовать?При этом отмечу, что не хотел бы использовать объединение этих строк в одну (может в дальнейшем помешать работе скрипта).
Спасибо!Как поставить их в зависимость друг от друга? № строк ресурса 1 и 2.
Возможен ли вариант создания двух ресурсов с идентификатором, к примеру:
1 ресурс:
1:Name
2:Name
3:Name2 ресурс:
1:proxy
2:proxy
3:proxyА уже вдальнейшем по первому параметру 1/2/3 тащить данные в поток?
Возможно есть более простой вариант? Но отмечу что именно через разные файлы(ресурсы) данные должны идти.
-
This post is deleted!
-
This post is deleted!
-
F Fox moved this topic from Запросы функционала on
-
@farzek-eth сделать это не через ресурсы
-
@tet-vivi для этого зашел ответить?) хаха
неконструктивно совершенно, но спасибо, что обратил внимание! -
Такие варианты решают через БД, есть объект Account, у него есть связь Proxy.
Если тебе важно, чтобы входе данные были на файлах, то в OnApplicationStart читай данные из ресурсов и вставляй их в БД, потоки будут брать данные из БД, не из ресурсов.Есть отработанные механизмы relationships, но годы идут и люди все время изобретают свои велосипеды.
@tet-vivi said in Корректное определение значений строк в многопоточном режиме:
@farzek-eth сделать это не через ресурсы
Абсолютно согласен.
-
@farzek-eth выгрузить ресурсы в списки и получать строки:
[[NAME_LIST]][ [[PASS]] * [[THREAD_INDEX]] ] + "@" + [[PROXY_LIST]][ [[PASS]] * [[THREAD_INDEX]] ]где [[PASS]] - номер прохода, [[THREAD_INDEX]] - номер потока, начиная с нуля
-
@farzek-eth вам предложили 2 из множества вариантов.
оба не соответствуют строгим требованиям которые вы привили.
хотя для вас оптимальный вариант к имеющимся 2 добавить ещё 1. ( навроде предложенного @Vituskosoy, в OnApplicationStart считать с файлов/ресурсов строки и объединив в 1 строку записать в 3 ресурс. это будет соответствовать наверно всем вашим требованиям ) -
Спасибо всем, проблему решил!