@billiedark said in Как возобновлять ресурс онлайн:
Как сделать так, чтобы условный ресурс accounts брал новые строки во время работы софта? Без костылей
0848d537-cfb4-43f3-b972-b70084f3960d-изображение.png
Как циклить парсинг страниц
-
Здравствуйте, есть необходимость в построении парсинга страниц.
Имеем url тем формата url.com/thead/tema1
В теме присутствуют страницы вида url.com/thead/tema1-page2 url.com/thead/tema1-page3
Чтобы узнать количество страниц, обращаемся к кнопке "последняя страница"
Узнаем что последней страницей является
url.com/thead/tema1-page120
Генерируем ссылки. Используя полученное значение 120(количество страниц в теме)
url.com/thead/tema1-page1
url.com/thead/tema1-page2
url.com/thead/tema1-page3
url.com/thead/tema1-page120
Полученные url сохранить в ресурс.
Следующим шагом будет парсинг со все страниц по заданным атрибутом. -
@ertoman said in Как циклить парсинг страниц:
Здравствуйте, есть необходимость в построении парсинга страниц.
Имеем url тем формата url.com/thead/tema1
В теме присутствуют страницы вида url.com/thead/tema1-page2 url.com/thead/tema1-page3
Чтобы узнать количество страниц, обращаемся к кнопке "последняя страница"
Узнаем что последней страницей является
url.com/thead/tema1-page120
Генерируем ссылки. Используя полученное значение 120(количество страниц в теме)
url.com/thead/tema1-page1
url.com/thead/tema1-page2
url.com/thead/tema1-page3
url.com/thead/tema1-page120
Полученные url сохранить в ресурс.
Следующим шагом будет парсинг со все страниц по заданным атрибутом.а в чём вопрос?
-
@fox said in Как циклить парсинг страниц:
@ertoman said in Как циклить парсинг страниц:
Здравствуйте, есть необходимость в построении парсинга страниц.
Имеем url тем формата url.com/thead/tema1
В теме присутствуют страницы вида url.com/thead/tema1-page2 url.com/thead/tema1-page3
Чтобы узнать количество страниц, обращаемся к кнопке "последняя страница"
Узнаем что последней страницей является
url.com/thead/tema1-page120
Генерируем ссылки. Используя полученное значение 120(количество страниц в теме)
url.com/thead/tema1-page1
url.com/thead/tema1-page2
url.com/thead/tema1-page3
url.com/thead/tema1-page120
Полученные url сохранить в ресурс.
Следующим шагом будет парсинг со все страниц по заданным атрибутом.а в чём вопрос?
Это видимо гайд
-
-
@ertoman said in Как циклить парсинг страниц:
@fox автоматизировать сие действия.
А именно функция обработки количества страниц в теме.
Фунция генерирования списка урлов и созранение их в ресурс.вы уже составили верный алгоритм и указали название всех используемых действий, что именно не получается?
