можно большой файл разбить на небольшие файлы и в бас подключать уже эти маленькие файлы получая список.
для разбития файла можно использовать BAT команды.
Лог файл обновляется каждые 1000000 строк автоматически.
Вы можете писать лог самостоятельно и соответственно менять имя файла в который пишется лог. Это очень просто сделать используя действие "Запись В Файл".