Здравствуйте. Необходимо спарсить сайт, на котором требуется авторизация. Каким образом это сделать.
Есть задумка следующая:
заходим через браузер на сайт, авторизуемся, подгружаем в http клиент данные куки из браузера и парсим страницы. Но что-то не работае...
Всем спасибо, разобрался как работать с xml + xpath, на пайтоне просто немного по другому. Обнял <3 Они уже закрыли лазейку через isTrue, написал по другому.
@Fox Очень бы хотелось, чтобы вы обратили внимание на эту проблему!
Раз пагинация происходит на одной и той же странице, то перед переходом на следующую страницу удалите какой нибудь элемент на странице, а после клика ожидайте появления этого элемента. Скидывайте скрипт, покажу нагляднее.
В этой теме, в конце, прикрепил тестовый скрипт с этой же логикой.
поддержу про xpath, работает очень быстро и просто.
вот только смотря кому и зачем их парсить :) если сайтмап построить, то как обойти лимит гугла в 600 урлов? больше он не выдаст. Никто не подскажет, как запарсить все страницы сайта? Остается вариант не из выдачи, а реально ходить по сайту :(
