Как спарстиь все внутренние ссылки на сайте?

[Ranout]

Не могу найти ответ на этот вопрос. Похоже что нужен либо Xpath либо регулярка. Как сделать? Спасибо

[IvanM]

@Ranout
Довольно проблемно создать универсальный парсер ссылок и на каждой странице у верстальщиков могут быть свои "заскоки".
Хоть бы уточнили сайт.

[A Former User]

@Ranout получайте значение атрибута "href" для тега "a" и ее домен, если домены совпадают, то скорей всего ссылка внутренняя, но может быть и редирект, если надо 100% то придется сделать хотя бы get запрос по ней.

[A Former User]

@IvanM said in Как спарстиь все внутренние ссылки на сайте?:

у верстальщиков могут быть свои "заскоки".

В большинстве случаев это тег "a", так это влияет на СЕО и обычно всетаки верстают как положено. Иногда только клик может js код обрабатывать, но это редко и обычно такое бывает в интерфейсах ЛК и тп, а не на общедоступных страницах.

[Ranout]

@IvanM @UserTrue Вот этот сайт https://www.ojogo.pt/

[Inwnew]

@Ranout

Xpath - Получить каждый xml:

//a[not(contains(@href, "http")) and not(contains(@*, "javascript"))]/@href

дальше дубли и ссылки на главную или ненужные уже сами чистите.

https://c2n.me/48QbT1X

[kuzkuz]

@Inwnew said in Как спарстиь все внутренние ссылки на сайте?:

@Ranout

Xpath - Получить каждый xml:

//a[not(contains(@href, "http")) and not(contains(@*, "javascript"))]/@href

дальше дубли и ссылки на главную или ненужные уже сами чистите.

https://c2n.me/48QbT1X

исключаете http зачем? имхо, это лишнее, ссылки внутри могут быть и такие.
Вернее так. Все ссылки могут оказаться абсолютными. Поэтому их надо получить и исключить ведущие на "левый" домен

[Inwnew]

@kuzkuz код сайта глянул, там с http ведут на другие ресурсы, условие было -- внутренние ссылки, поэтому исключил. Если нужны все, то вообще без проблем можно отредактировать запрос.

[tet-vivi]

абсолютные и относительные ссылки учитываете?

[Inwnew]

@tet-vivi я там скрин приложил, все ссылки, которые внутренние, относительные .

З.Ы. Вы можете легко подправить мой запрос, как считаете нужным, я просто немного помог человеку :) Считаете неправильно? Давайте свои варианты :)

[kuzkuz]

@tet-vivi said in Как спарстиь все внутренние ссылки на сайте?:

абсолютные и относительные ссылки учитываете?

все спамиш ). я выше это написал