Нужно разработать скрипт парсинга Upwork (активно выдает Cloudflare)

[alexbab]

Пытался парсить Upwork (собирать jobs) через Puppeteer и Selenium. При загрузке второй страницы выдает Cloudflare (который даже вручную не получается победить). Подозреваю, что в BAS более качественная система эмуляции реального браузера. Если да, то нужно наладить загрузку страниц через BAS, можно сразу с парсингом нужных мне данных.

В идеале загрузку или весь парсинг интегрировать с моим решением на C# (чтобы я каким-то образом мог ставить задачи для BAS и получать результаты загрузки). Я не глубоко знаком с экосистемой BAS, поэтому не знаю как это правильно реализуется.

[sergerdn]

@alexbab said in Нужно разработать скрипт парсинга Upwork (активно выдает Cloudflare):

В идеале загрузку или весь парсинг интегрировать с моим решением на C# (чтобы я каким-то образом мог ставить задачи для BAS и получать результаты загрузки).

Делал подобное на python, но разобраться будет сложновато без опыта работы с BAS.

https://github.com/sergerdn/py-bas-automation

[111cbt111]

i did it with BAS 2-3 years ago when started to work on upwork
if interested look up my profile there
https://www.upwork.com/freelancers/~01a88c69a6003c624c

[A Former User]

@alexbab бас может работать с puppeteer, https://wiki.bablosoft.com/doku.php?id=puppeteerwithfingerprints

[alexbab]

@111cbt111 Thank you for response. To summarize - can you implement my task for the moment and how much will that cost?

[alexbab]

@DrPrime напишите сюда, я не могу отвечать в личке, репа не позволяет

[Moderator]

@alexbab Теперь можете