Пытался парсить Upwork (собирать jobs) через Puppeteer и Selenium. При загрузке второй страницы выдает Cloudflare (который даже вручную не получается победить). Подозреваю, что в BAS более качественная система эмуляции реального браузера. Если да, то нужно наладить загрузку страниц через BAS, можно сразу с парсингом нужных мне данных.
В идеале загрузку или весь парсинг интегрировать с моим решением на C# (чтобы я каким-то образом мог ставить задачи для BAS и получать результаты загрузки). Я не глубоко знаком с экосистемой BAS, поэтому не знаю как это правильно реализуется.
@alexbab said in Нужно разработать скрипт парсинга Upwork (активно выдает Cloudflare):
В идеале загрузку или весь парсинг интегрировать с моим решением на C# (чтобы я каким-то образом мог ставить задачи для BAS и получать результаты загрузки).
Делал подобное на python, но разобраться будет сложновато без опыта работы с BAS.
i did it with BAS 2-3 years ago when started to work on upwork
if interested look up my profile there
https://www.upwork.com/freelancers/~01a88c69a6003c624c
@alexbab бас может работать с puppeteer, https://wiki.bablosoft.com/doku.php?id=puppeteerwithfingerprints
