Взять значения с большого файла



  • привет. Есть вопрос. Файл весит 10гБ. Пробую брать циклом кусками значения

    alt text

    Но если я указываю путь к файлу размером 10Гб переменная в которую берется результат - пустая.
    А в случае, если указывать файл ГОРАЗДО меньше, то данная функция справляется.
    Может где ограничение стоит?

    Подскажите, есть еще решение при работе с таким весомым файлом?
    Резать на N кусков файл - не вариант.



  • @searx И часто 10 гб файлами оперируете? Ну так для общего понимания. Если это бд то переносится она по другому, и режется по необходимости прекрасно. Так что за 10 гб файл у вас? и попробуйте его открыть например в notepade++



  • @searx Вы бы смысл этого описали )), вы понимаете, что пытаетесь в ОЗУ загрузить 10 Гб? В node.js такие файлы читают обычно с помощью потоков, то есть n байт считалось, затем передалось и так пока не дойдет до конца.



  • @tts9 @usertrue Спасибо за интерес к теме. По итогу все сделалось через php O_o
    БАС все же не предназначен для работы с большими файлами.

    @tts9 нет, не часто. notepade++ ты серьезно, чувак?

    @usertrue я действительно думал, что бас способен прочитать мой файл побайтово.
    Мне нужно было вчера прочитать текстовый файл и вывести уникальные строки с их частотностью упоминая в нем.



  • @searx said in Взять значения с большого файла:

    ты серьезно, чувак?

    А ты?

    @searx said in Взять значения с большого файла:

    бас способен прочитать мой файл побайтово.

    Способен, но то что делаете вы это целиком пытаетесь загрузить его в ОДНУ тадам) переменную. Вы весь разом его в память грузите
    Сделайте цикл и там есть галочки)



  • @tts9 о какой "галочке" речь?
    0_1565087400175_Screenshot_1.png



  • @searx Пардон о строчках да. Ну вот он у вас судя по скрину и настроен читать. Но все равно 10 гб это как бэ.. А что за формат то? .csv ?



  • @tts9 нет, формат txt, хотя не вижу особой разницы между csv.
    И мне тоже было странно...

    Мне кажется, разницы не должно быть в объеме файла, если правильным методом его читать.


Log in to reply