Создать парсер olx uz парсер. Нужна поддержка прокси или других способов анонимизации + имитация реального пользователя, чтобы минимизировать блокировки. Задача собирать 30-40к объявлений в день с контактами (раздел, не требующий авторизации). Понимаю, что потребуются прокси, напишите, по опыту какая цена прокси для такого количества.
@alexbab said in Парсер olx uz:
Понимаю, что потребуются прокси, напишите, по опыту какая цена прокси для такого количества
В общем случае от $3 за тысячу скаченных страниц, если не нужна эмуляция браузера.
Если нужен браузер, то от $25 также за 1К скаченных страниц.
Но если ресурс хоть частично похож на современный Авито, то никаких проксей не хватит.
@sergerdn благодарю за ответ!
@alexbab said in Парсер olx uz:
Стоимость за 1000 обусловлена ценой прокси ? Я так понимаю, здесь лучше мобильные?
Это не мои цены, это цена сервиса, которого я прошу скачать страницу, а он сам разбирается как ее скачать, какой прокси подойдет и так далее.
@alexbab said in Парсер olx uz:
Какова стоимость самой разработки скрипта (чтобы на выходе я получил готовый парсер, например, в виде exe приложения)?
Не знаю. Конкретно по этому ресурсу опыта у меня нет. Зависит от того, как ресурс защищается и сколько времени уйдет на выяснение всего и вся. Но задача явно не на пару сотен баксов. Вероятно, цена разработки "потеряется" на фоне оплаты за прокси. Наверное, это не самая расходная часть будет.
@alexbab said in Парсер olx uz:
Как, с точки зрения архитектуры BAS лучше сделать экспорт в Postgres результатов? Или, можно ли как то мне добавить туда свой nodejs или C# кода для экспорта?
Да как угодно, данная задача может быть реализована и без BAS.
Обычно при сборе данных я пишу результат в файлик, а дальше уже скрипт экспорта данных в нужное место в нужном виде.
@alexbab said in Парсер olx uz:
Можете уточнить, какой сервис скачивает страницы?
Их много. Это целая ниша.
@alexbab said in Парсер olx uz:
Если скачивание страниц отдается на откуп стороннему сервису, то какая разница для нас как ресурс защищается?
Не все сервисы понимают, что страница плохая и что ее нужно перекачать с нового прокси и отдают ее в том виде, в котором она не нужна и надо делать повторный запрос и опять платить.
Также есть разные варианты использования API стороннего сервиса, выбор которых зависит от того, как ресурс защищается и это сильно влияет на цену использования софта.
Как я писал выше, если ресурс как-то защищается, что очень вероятно, то цена разработки будет сильно ниже, чем цена владения таким парсером.
Примерные границы цены владения я также указал выше, можно легко посчитать и прикинуть бюджет.
Также вариант, когда кто-то напишет софт, отдаст его и заказчик будет пользоваться без каких-либо изменений, маловероятен. В идеале технический специалист сам собирает данные, сам находит и фиксит баги и отдает результат. Но это все стоит денег на оплату работы человека.
@moonsoon said in Парсер olx uz:
Парсился на бесплатных прокси, около рабочих)
Значит ресурс ни капли не похож на Авито, как минимум три года назад был такой.
Я сделал такое предположение, потому что владелец один, по крайней мере был.
@alexbab said in Парсер olx uz:
@sergerdn said in Парсер olx uz:
Их много. Это целая ниша.
подскажите, как их погуглить или возможно назовете пример?
С проксями и подобными сервисами правило одно - нашел хороший сервис, пользуйся и молчи об этом, иначе завтра он станет плохим.
Примера от меня не будет, как минимум в рамках бесплатной консультации на форуме в публичном топике.
Я хотел бы обсудить то, что вы ищете, напишите мне в Telegram.
