Решил проблему. Дело было в Accept-Encoding: gzip, deflate, br. Убрал br и заработало. Видимо http клиент БАС его не поддерживает. Фидлер делал эту работу за него и поэтому без него все сломалось.
поддержу про xpath, работает очень быстро и просто.
вот только смотря кому и зачем их парсить :) если сайтмап построить, то как обойти лимит гугла в 600 урлов? больше он не выдаст. Никто не подскажет, как запарсить все страницы сайта? Остается вариант не из выдачи, а реально ходить по сайту :(
