@spam например есть текстовый файл со списком ссылок:
1 ссылка
2ссылка
3ссылка
и т.д.
Мне нужно сделать так что бы, например первый цикл проходит взял из файла первую ссылку, пошел на второй цикл взял вторую ссылку и т.д.
Лучше базу использовать на таком объеме.
И имейте ввиду, что удаление строки в ресурсе, приведет к удалению всех дублей.
А ты через встроенный менеджер базы данных в меню база вверху пробовал через импорт из csv файла ? только разметить файл надо.
Кроме того, можно поставить клиент для mongodb и подключится к базе, тогда можно через командную строку загрузить дайнные из файла.
https://metanit.com/nosql/mongodb/2.3.php
внизу статьи загрузка из файла.