Добавляй в список каждую строку файла в цикле без повторно использования. Ставишь игнор ошибок и не прекращать работу(для ресурса). Все строки добавятся в список.
@DuckDuck Применяю компрессию через node.js пока единственное что смог придумать. Процесс сокращения размера данных с использованием различных алгоритмов называется "компрессией". "Декомпрессия" - это обратный процесс, который восстанавливает исходные данные из сжатых данных. Таким образом, процесс сжатия и распаковки называется "компрессией" и "декомпрессией" соответственно.
Сгенерировал колонки для бд для импорта их через Текстовый режим
Но почему то БД не создается. Там у меня 4403 колонок. Есть ли лимит в количестве возможных колонок ?
MySQL имеет встроенный лимит на кол-во колонок в таблице. Как правило, огромное кол-во колонок, это следствие неправильной архитектуры. Если напишешь задачу, то могут помочь с решением без такого кол-ва колонок.
