Подскажите как парсить чтобы ссылки в текстовом файле не дублировались

Поддержка