Паук

[bronshik]

Подскажите, по какому принципу пишутся пауки? Входные - урл сайтов(много урл). он заходит на каждый и ищет ссылки по определенной маске и сохраняет только их. Как сделать чтобы скрипт обошел все страницы сайта, ничего не пропустил? Или может есть готовые решения и ничего писать не надо? Но я честно не нашел, может посоветуйте?

[YURIU]

https://community.bablosoft.com/topic/3870/оптимальный-алгоритм-парсинга-для-bas/22