@spam Спасибо, изучу. И по отпечаткам тоже займусь
Отпечатки могут как-то влиять на скорость решения капчи? Или только на факт её появления?
Парсинг с авторизацией
-
Добрый день!
Нужна помощь в настройке парсинга с авторизацией. Настроил по инструкциях и видео парсер сайта https://www.przedszkola.edu.pl/.
Для сбора нужной мне информации нужно залогиниться на сайте с помощью профиля фейсбук. До этого имел дело только с датакол но в нем как раз мне не удалось настроить авторизацию по фейсбук. Проблема в том что после сбора с нескольких страниц BAS снова логиниться через фейсбук, после н-ой попытки фейсбук блокирует акакунт.- Можно как то сделать один раз авторизацию, и после этого только парсинг ? страниц парсинга около 10 000 шт.
- Мокно как то вручную уменьшить скорость парсинга ?
- Если прикуплю левых акаунтов фейсбук для авторизации, как сделать поочередную авторизацию по каждому из них ? Если логиниться с одного ип не будут ли они блокироваться ?
Спасибо!
-
@MRM1987 said in Парсинг с авторизацией:
Если прикуплю левых акаунтов фейсбук для авторизации, как сделать поочередную авторизацию по каждому из них ? Если логиниться с одного ип не будут ли они блокироваться ?
Будут 100% .Покупайте хорошие прокси,адекватный отпечаток+профиль с историей
-
@MRM1987 said in Парсинг с авторизацией:
Нужна помощь в настройке парсинга с авторизацией. Настроил по инструкциях и видео парсер сайта https://www.przedszkola.edu.pl/.
Для сбора нужной мне информации нужно залогиниться на сайте с помощью профиля фейсбук. До этого имел дело только с датакол но в нем как раз мне не удалось настроить авторизацию по фейсбук. Проблема в том что после сбора с нескольких страниц BAS снова логиниться через фейсбук, после н-ой попытки фейсбук блокирует акакунт.Можно как то сделать один раз авторизацию, и после этого только парсинг ? страниц парсинга около 10 000 шт.
Мокно как то вручную уменьшить скорость парсинга ?
Если прикуплю левых акаунтов фейсбук для авторизации, как сделать поочередную авторизацию по каждому из них ? Если логиниться с одного ип не будут ли они блокироваться ?
Спасибо!Я бы в первую очередь попробовал сон между переходами на новую страницу, хотя бы пару сек.
Использовал профиль с отпечатком.В вашем случае не скорость важна, а живучесть для выполнения необходимой работы.
-
На даном этапе моих знаний недостаточно потому все таки прошу о помощи, так как не програмист но люблю учится - хотя тяжело временем доходит. С фейсбуком кажысь больше проблем нет. Прикрепил проэкт, две проблемы:
- Время от времени возникает ошыбка загрузки страницы, такого типа
[611378366] [22:09:55] Поток №1 : Can't resolve query //div[@class='leaflet-popup-content']/div[@class='map__popup']/div[@class='map__popup-header']/div[@class='map__popup-title']
После этого критическая ошыбка и остановка парсинга. Читал о игнорировании ошибок но ничего у мене не работает - Вторая проблема, даже после ошибки и остановки парсинга часть даных собираеться. Но после повторного запуска те же даные собираються снова. Читал о функции "Удалить Текущий Элемент", но нечего не вышло.
Если у кого то будет 5 минут - прошу посмотреть и хотя б ткнуть что делаю не правильно.
Спасибо
- Время от времени возникает ошыбка загрузки страницы, такого типа
-
-
@MRM1987 said in Парсинг с авторизацией:
[611378366] [22:09:55] Поток №1 : Can't resolve query //div[@class='leaflet-popup-content']/div[@class='map__popup']/div[@class='map__popup-header']/div[@class='map__popup-title']
Это означает,что вы не правильно делаете xpath запрос,проверьте точность
