@billiedark said in Как возобновлять ресурс онлайн:
Как сделать так, чтобы условный ресурс accounts брал новые строки во время работы софта? Без костылей
0848d537-cfb4-43f3-b972-b70084f3960d-изображение.png
Как обрабатывать большой объем данных
-
Подскажите как оптимально работать с большим массивом данных. Например надо при каждом выполнении задания проверять ID пользователя в списке уже выполненных. Пробовал через блокнот но это слишком долго, нужны таблицы БД. Родная БД мне кажется не приспособлена для таких целей. SQL что ли прикручивать? Подскажите кто , как решает подобные задачи.
-
said in Как обрабатывать большой объем данных:
не приспособлена для таких целей. SQL что ли прикручивать? Подскажите кто , как решает подобные задачи.
аналог блек листа делаете? Сколько id'шников у вас?
-
Кстати кто знает как накладываются блокировки в родной БД. Блокируется целиком таблица или построчно? Тоесть если один поток обращается к таблице, то другому придется ждать или как?
-
-
-
@GamiD Ну тут можно наверное выход найти, можно же файл частями читать, так по идее будет правильнее, чем ОЗУ забивать такими размерами.
-
@GamiD В экшене читать файл можно указать первый байт и последний байт. В цикле просто брать следующий кусок для работы. Скиньте пример файла, попробую глянуть.
-
@Fox Но все равно частями будет оптимальней. К примеру загрузили первый 500 строк, обработали, а затем следующие 500 строк загрузили и т.д. Тем более, если вдруг надо в каждом потоке свой экземпляр иметь то 60mb на 100 потоков это уже дофига.
-
@Denis_krsk Не успел закинуть пример скрипта который берёт частями.
А на счёт многопотока, то проще использовать ресурсы. Читать файл в ресурс >> цикл >> добавить элемент (в ресурс). -
