Добавляй в список каждую строку файла в цикле без повторно использования. Ставишь игнор ошибок и не прекращать работу(для ресурса). Все строки добавятся в список.
Сгенерировал колонки для бд для импорта их через Текстовый режим
Но почему то БД не создается. Там у меня 4403 колонок. Есть ли лимит в количестве возможных колонок ?
MySQL имеет встроенный лимит на кол-во колонок в таблице. Как правило, огромное кол-во колонок, это следствие неправильной архитектуры. Если напишешь задачу, то могут помочь с решением без такого кол-ва колонок.
@ishka94
Напишите многопоточный скрипт.
В качестве основного ресурса для потоков и будет указанный Вами список.
50к строк выгрузите в глобальный список. И проверяйте совпадения через foreach.
Скорость проверки будет зависеть от количества потоков.
