Есть много путей для решения это задачи.
Я обычно, когда загружаю прокси, получаю в цикле данные из ресурса, используя {{ProxyResource|notreuse}} и чекаю прокси, если он не рабочий, беру другой.
Как обрабатывать большой объем данных
-
Подскажите как оптимально работать с большим массивом данных. Например надо при каждом выполнении задания проверять ID пользователя в списке уже выполненных. Пробовал через блокнот но это слишком долго, нужны таблицы БД. Родная БД мне кажется не приспособлена для таких целей. SQL что ли прикручивать? Подскажите кто , как решает подобные задачи.
-
said in Как обрабатывать большой объем данных:
не приспособлена для таких целей. SQL что ли прикручивать? Подскажите кто , как решает подобные задачи.
аналог блек листа делаете? Сколько id'шников у вас?
-
Кстати кто знает как накладываются блокировки в родной БД. Блокируется целиком таблица или построчно? Тоесть если один поток обращается к таблице, то другому придется ждать или как?
-
-
-
@GamiD Ну тут можно наверное выход найти, можно же файл частями читать, так по идее будет правильнее, чем ОЗУ забивать такими размерами.
-
@GamiD В экшене читать файл можно указать первый байт и последний байт. В цикле просто брать следующий кусок для работы. Скиньте пример файла, попробую глянуть.
-
@Fox Но все равно частями будет оптимальней. К примеру загрузили первый 500 строк, обработали, а затем следующие 500 строк загрузили и т.д. Тем более, если вдруг надо в каждом потоке свой экземпляр иметь то 60mb на 100 потоков это уже дофига.
-
@Denis_krsk Не успел закинуть пример скрипта который берёт частями.
А на счёт многопотока, то проще использовать ресурсы. Читать файл в ресурс >> цикл >> добавить элемент (в ресурс). -
