Изменить свой ip ты можешь с помощью прокси. Соответственно если нужно чтобы запросы шли с разных ip, нужно много этих прокси. Тут уже много будет зависеть от задачи.
Как вариант можно где-то раздобыть большое количество проксей, и с помощью методов баса считывать и использовать один случайный, далее по необходимости менять его
Как правильнее сделать?
-
This post is deleted!
-
@kaget said in Как правильнее сделать?:
здравствуйте. хочу спарсить сайт спортивных событий .
- как быстро получить ссылки на матчи, если в коде страницы их нет, но у них есть id, который можно вытащить через css? проблема в том, что потом у этого id нужно отрезать первые 5 символов и подставить в готовый урл, например site.ru/id/results
- можно ли записывать сразу в excel или хотя бы в текстовый файл, в одну строку то, что спарсил со страницы одного матча, чтоб потом всё не смешалось?
или можно не парсить урл каждого матча и сразу "ходить" по ним, парсить, только в многопотоке?
https://www.myscore.com.ua/basketball/spain/acb-2018-2019/results/
Регуляркой вытаскивать, видимо. -
@denanotherday можете привести пример, который можно бы было применить на список полученных id?
условно id это g_3_ghWw1v . как отрезать начало g_3_ и вставить в site.ru/id/results? -
На держи,как то занимался недавно этой темой.Скрипт конечно не в лучшем виде.
https://yadi.sk/d/DvSIdco8ee-DLw -
-
Обновленный вариант https://yadi.sk/d/oiiM65JWvq3siQ
