@clocky bez raznici, mobilnie ili rezidenti
dopustim u tebya 10 potokov, 9 proxy
9 potokov rabotaet, 10 jdet kogda osvoboditsa proxy... zakonchit dopustim 1-y, on osvobodil svoyu stroky proxy=>10 potok startuet s etoy strokoy, a 1-y jdet kogda stanet dostupen resurs voobshe lubogo potoka(t.e. esli zakonchit uslovniy 7-y=>1 potok startanet s proxy 7-go, a 7-y budet jdat kogda resurs snova stanet svobodetn) vot takoy cycle
poetomy s resursami vse ok, esli eto mob proxy, mojesh delat v nachale scripta sbros ip, tak tochno budesh uveren, chto noviy potok nachnetsa s novim ip
Как обрабатывать большой объем данных
-
@Fox Но все равно частями будет оптимальней. К примеру загрузили первый 500 строк, обработали, а затем следующие 500 строк загрузили и т.д. Тем более, если вдруг надо в каждом потоке свой экземпляр иметь то 60mb на 100 потоков это уже дофига.
-
@Denis_krsk Не успел закинуть пример скрипта который берёт частями.
А на счёт многопотока, то проще использовать ресурсы. Читать файл в ресурс >> цикл >> добавить элемент (в ресурс). -
@Fox said in Как обрабатывать большой объем данных:
Читать файл в ресурс >> цикл >> добавить элемент (в ресурс).
может в список?)
-
@artihorror Выше я уже писал, что в список у меня за 2 секунды обрабатывает файл, но у @GamiD зависает. В экшене читать файл в список нету побайтовой настройки места чтения. А в ресурс добавлять я предложил для работы в многопотоке.
-
@Fox said in Как обрабатывать большой объем данных:
@artihorror Выше я уже писал, что в список у меня за 2 секунды обрабатывает файл, но у @GamiD зависает. В экшене читать файл в список нету побайтовой настройки места чтения. А в ресурс добавлять я предложил для работы в многопотоке.
оказывается как у тебя у меня тоже не зависает а когда читаешь этот список зависает у меня так же быстро читает этот список я сделал получить первый элемент и вывел в лог и завис сама страница у меня отдельно где конструктор а где лог отдельно изза этого конструктор работал а страница где лог завис

