Проверка ссылки в текстовике

[neznayka]

Привет знатокам!
Не понимаю как реализовать следующее

(напишу о софте, чтобы поняли)
Скрипт заходит на сайт, собирает ссылки, после когда он еще раз зайдет на сайт ( к примеру через 30 минут ) появляться новые ссылки, и надо чтобы скрипт обработал только их

То есть, проще говоря реализовать проверку ссылок в текстовике, чтобы не попадались дубли

Спасибо заранее, за фидбек!

p,s только начал разбираться в басе, я пень(

[DuckDuck]

делаете базу, или список, в зависимости от надежности - парсите ссылки в базу/список - и сравниваете два списка или базы, все чего нет в старом списке - новые ссылки.