@jekson возможно следующая страница с выдачей не успевает подгрузиться. попробуйте поставть полную загрузку или " спать", если прокатило, используйте "ждать появление элемента".
В контексте разметки HTML страницы парсинг получается логичным. Нов случае XML-фида нарушается структура XML-файла
Как получить значение вложенное в area?