@Wildberies said in Как проверить регуляркой?:
Пример текста:
Hi here is CGKvsYgXkfJAPLWCEMQtrb73E5jcDqk5TUyHEP8d1BL8 , want to join!
[A-z\d]{15,}
Как обрабатывать большой объем данных
-
said in Как обрабатывать большой объем данных:
не приспособлена для таких целей. SQL что ли прикручивать? Подскажите кто , как решает подобные задачи.
аналог блек листа делаете? Сколько id'шников у вас?
-
Кстати кто знает как накладываются блокировки в родной БД. Блокируется целиком таблица или построчно? Тоесть если один поток обращается к таблице, то другому придется ждать или как?
-
-
-
@GamiD Ну тут можно наверное выход найти, можно же файл частями читать, так по идее будет правильнее, чем ОЗУ забивать такими размерами.
-
@GamiD В экшене читать файл можно указать первый байт и последний байт. В цикле просто брать следующий кусок для работы. Скиньте пример файла, попробую глянуть.
-
@Fox Но все равно частями будет оптимальней. К примеру загрузили первый 500 строк, обработали, а затем следующие 500 строк загрузили и т.д. Тем более, если вдруг надо в каждом потоке свой экземпляр иметь то 60mb на 100 потоков это уже дофига.
-
@Denis_krsk Не успел закинуть пример скрипта который берёт частями.
А на счёт многопотока, то проще использовать ресурсы. Читать файл в ресурс >> цикл >> добавить элемент (в ресурс). -
-
@GamiD Пожалуйста
:D
А спасибо на форуме можно сказать кнопочкой ^
