Как обрабатывать большой объем данных

[A Former User]

@GamiD Ну тут можно наверное выход найти, можно же файл частями читать, так по идее будет правильнее, чем ОЗУ забивать такими размерами.

[GamiD]

@Denis_krsk у меня тама 600т+_ строк хотел по 10т сделать все равно зависал когда в ресурс ставил

[Fox]

@GamiD В экшене читать файл можно указать первый байт и последний байт. В цикле просто брать следующий кусок для работы. Скиньте пример файла, попробую глянуть.

[GamiD]

@Fox https://yadi.sk/d/jMkbhef13SM2rp

[Fox]

@GamiD Эмм, у меня спокойно прочитал весь файл за пару секунд, без всяких зависаний:

---

[A Former User]

@Fox Но все равно частями будет оптимальней. К примеру загрузили первый 500 строк, обработали, а затем следующие 500 строк загрузили и т.д. Тем более, если вдруг надо в каждом потоке свой экземпляр иметь то 60mb на 100 потоков это уже дофига.

[Fox]

@Denis_krsk Не успел закинуть пример скрипта который берёт частями.
А на счёт многопотока, то проще использовать ресурсы. Читать файл в ресурс >> цикл >> добавить элемент (в ресурс).

[Fox]

@Denis_krsk @GamiD Вот пример работы с файлом по частям, берёт по 1000 байт за итерацию.
Но парсить в список придётся вручную. Так же может обрывать слова, но для примера пойдёт.

[GamiD]

@Fox у меня зависает наверно у тебя комп по мощнее чем у меня

[GamiD]

@Fox щас посмотрим что там

[GamiD]

@Fox спасибо это уже другое дело =)

[Fox]

@GamiD Пожалуйста :D
А спасибо на форуме можно сказать кнопочкой ^

[GamiD]

@Fox said in Как обрабатывать большой объем данных:

@GamiD Пожалуйста :D
А спасибо на форуме можно сказать кнопочкой ^

Нажимаю иногда забываю=)

[artihorror]

@Fox said in Как обрабатывать большой объем данных:

Читать файл в ресурс >> цикл >> добавить элемент (в ресурс).

может в список?)

[Fox]

@artihorror Выше я уже писал, что в список у меня за 2 секунды обрабатывает файл, но у @GamiD зависает. В экшене читать файл в список нету побайтовой настройки места чтения. А в ресурс добавлять я предложил для работы в многопотоке.

[artihorror]

@Fox я на несколько раз прошерстил все экшены в асе, но не нашел "читать файл в ресурс"

[GamiD]

@Fox said in Как обрабатывать большой объем данных:

@artihorror Выше я уже писал, что в список у меня за 2 секунды обрабатывает файл, но у @GamiD зависает. В экшене читать файл в список нету побайтовой настройки места чтения. А в ресурс добавлять я предложил для работы в многопотоке.

оказывается как у тебя у меня тоже не зависает а когда читаешь этот список зависает у меня так же быстро читает этот список я сделал получить первый элемент и вывел в лог и завис сама страница у меня отдельно где конструктор а где лог отдельно изза этого конструктор работал а страница где лог завис

[Fox]

@artihorror Это секретный экшен :D

Проект и файл.

[Antonio]

@Fox, и что это должно сделать? Прочитать файл в ресурс, но не сразу, а по шагам?

[Fox]

@GamiD Ещё раз, что и где зависает?

Вот тестовый проект.