Как циклить парсинг страниц

[ertoman]

Здравствуйте, есть необходимость в построении парсинга страниц.
Имеем url тем формата url.com/thead/tema1
В теме присутствуют страницы вида url.com/thead/tema1-page2 url.com/thead/tema1-page3
Чтобы узнать количество страниц, обращаемся к кнопке "последняя страница"
Узнаем что последней страницей является
url.com/thead/tema1-page120
Генерируем ссылки. Используя полученное значение 120(количество страниц в теме)
url.com/thead/tema1-page1
url.com/thead/tema1-page2
url.com/thead/tema1-page3
url.com/thead/tema1-page120
Полученные url сохранить в ресурс.
Следующим шагом будет парсинг со все страниц по заданным атрибутом.

[Fox]

@ertoman said in Как циклить парсинг страниц:

Здравствуйте, есть необходимость в построении парсинга страниц.
Имеем url тем формата url.com/thead/tema1
В теме присутствуют страницы вида url.com/thead/tema1-page2 url.com/thead/tema1-page3
Чтобы узнать количество страниц, обращаемся к кнопке "последняя страница"
Узнаем что последней страницей является
url.com/thead/tema1-page120
Генерируем ссылки. Используя полученное значение 120(количество страниц в теме)
url.com/thead/tema1-page1
url.com/thead/tema1-page2
url.com/thead/tema1-page3
url.com/thead/tema1-page120
Полученные url сохранить в ресурс.
Следующим шагом будет парсинг со все страниц по заданным атрибутом.

а в чём вопрос?

[uraabk]

@fox said in Как циклить парсинг страниц:

@ertoman said in Как циклить парсинг страниц:

Здравствуйте, есть необходимость в построении парсинга страниц.
Имеем url тем формата url.com/thead/tema1
В теме присутствуют страницы вида url.com/thead/tema1-page2 url.com/thead/tema1-page3
Чтобы узнать количество страниц, обращаемся к кнопке "последняя страница"
Узнаем что последней страницей является
url.com/thead/tema1-page120
Генерируем ссылки. Используя полученное значение 120(количество страниц в теме)
url.com/thead/tema1-page1
url.com/thead/tema1-page2
url.com/thead/tema1-page3
url.com/thead/tema1-page120
Полученные url сохранить в ресурс.
Следующим шагом будет парсинг со все страниц по заданным атрибутом.

а в чём вопрос?

Это видимо гайд

[ertoman]

@fox автоматизировать сие действия.
А именно функция обработки количества страниц в теме.
Фунция генерирования списка урлов и созранение их в ресурс.

[Fox]

@ertoman said in Как циклить парсинг страниц:

@fox автоматизировать сие действия.
А именно функция обработки количества страниц в теме.
Фунция генерирования списка урлов и созранение их в ресурс.

вы уже составили верный алгоритм и указали название всех используемых действий, что именно не получается?