Взять значения с большого файла

[searx]

привет. Есть вопрос. Файл весит 10гБ. Пробую брать циклом кусками значения

Но если я указываю путь к файлу размером 10Гб переменная в которую берется результат - пустая.
А в случае, если указывать файл ГОРАЗДО меньше, то данная функция справляется.
Может где ограничение стоит?

Подскажите, есть еще решение при работе с таким весомым файлом?
Резать на N кусков файл - не вариант.

[f0cus]

@searx И часто 10 гб файлами оперируете? Ну так для общего понимания. Если это бд то переносится она по другому, и режется по необходимости прекрасно. Так что за 10 гб файл у вас? и попробуйте его открыть например в notepade++

[A Former User]

@searx Вы бы смысл этого описали )), вы понимаете, что пытаетесь в ОЗУ загрузить 10 Гб? В node.js такие файлы читают обычно с помощью потоков, то есть n байт считалось, затем передалось и так пока не дойдет до конца.

[searx]

@tts9 @usertrue Спасибо за интерес к теме. По итогу все сделалось через php O_o
БАС все же не предназначен для работы с большими файлами.

@tts9 нет, не часто. notepade++ ты серьезно, чувак?

@usertrue я действительно думал, что бас способен прочитать мой файл побайтово.
Мне нужно было вчера прочитать текстовый файл и вывести уникальные строки с их частотностью упоминая в нем.

[f0cus]

@searx said in Взять значения с большого файла:

ты серьезно, чувак?

А ты?

@searx said in Взять значения с большого файла:

бас способен прочитать мой файл побайтово.

Способен, но то что делаете вы это целиком пытаетесь загрузить его в ОДНУ тадам) переменную. Вы весь разом его в память грузите
Сделайте цикл и там есть галочки)

[searx]

@tts9 о какой "галочке" речь?

[f0cus]

@searx Пардон о строчках да. Ну вот он у вас судя по скрину и настроен читать. Но все равно 10 гб это как бэ.. А что за формат то? .csv ?

[searx]

@tts9 нет, формат txt, хотя не вижу особой разницы между csv.
И мне тоже было странно...

Мне кажется, разницы не должно быть в объеме файла, если правильным методом его читать.