@korthresh Friend, you don't have to look for an answer to your question here. No one will tell you how to do it. You can go straight to the orders section
Парсер twitter ленты
-
Доброе время суток. Заранее спасибо всем откликнувшимся.
Нужно спарсить все твиты в ленте по определенному запросу. Смотрел обучающий урок, но с того времени, видимо, твиттер сильно поменялся и теперь там нет тех классов, которые представлены в видеоуроке. В исходном коде изначально отображается 8 твитов и по мере прокручивания ленты твиты подтягиваются запросом каким то. После 30 часов попыток и гугления, я понял что тупой для этого, поэтому прошу помощи и более знающих людей.
Подскажите, пожалуйста, как реализовать парсинг в твиттере? С чего начать, куда двигаться? Единственное, чем твиты в исходнике различаются - это в строке <div style="position: absolute; width: 100%; transform: translateY(109px); transition: opacity 0.3s ease-out 0s;"> параметр transform: translateY(109px); --изменяется именно число пикселей, которое в скобках, но как это применить я не понимаю.
Спасибо всем, кто окажет хоть какую то помощь. -
@Evg185 said in Парсер twitter ленты:
Подскажите, пожалуйста, как реализовать парсинг в твиттере? С чего начать, куда двигаться?
Можете продолжить изучение видео-материала. Ещё можете почитать мануал по селекторам https://wiki.bablosoft.com/doku.php?id=ru:how_to_search_for_element
-
Появился более удобный метод поиска цикла элементов
https://www.youtube.com/watch?v=Lho2Ghd7hj8 -
@Fox но ведь данные каждый раз подгружаются по новому, в видео показано как статические данные парсить
-
Я сам пытался по разному - xpath тоже не работает. Работает только через css, но там так хитро устроен алгоритм, что нужные эллементы удаляются когда например через определенный интервал парсишь копии и затем удаляешь через удалить дубликаты из списка . Это если отписаться от тех на кого подписан и взаимная подписка. Что делать не знаю. Пробовал даже поиск по картинке, но этот модуль ищет сначала скрола, а как известно данные обновляются. Проскролил он значит минуту и все.
В общем тут нужно как то искать эллемент по содержанию других эллементов внутри - например есть div без класа, внутри него див с другими классами , например точно известно что в эллемента есть @имячеловека, его Фон белый и т.д , спарсить с реакта только так можно, на условии что как только эллемент появляется на экране и его параметр по Y больше чем предыдущего.
Вобще, как то можно организовать цикл на проверку по координатам Y? И вообще искать вложенные эллементы от внешнего дива? Типо новый вид поиска - по отправной точке, как например тут внешний div, в нем уже невзирая на смену основных div's от родительского искать по структуре компонента. -
@novikov433 said in Парсер twitter ленты:
@Fox но ведь данные каждый раз подгружаются по новому, в видео показано как статические данные парсить
Что означает "подгружаются по новому"?
@novikov433 said in Парсер twitter ленты:
Я сам пытался по разному - xpath тоже не работает.
Я ещё ни разу не встречал ситуацию, когда к элементу нельзя было привязться через xpath.
Работает только через css, но там так хитро устроен алгоритм, что нужные эллементы удаляются когда например через определенный интервал парсишь копии и затем удаляешь через удалить дубликаты из списка . Это если отписаться от тех на кого подписан и взаимная подписка. Что делать не знаю.
Ни чего не понятно, но очень интересно
В общем тут нужно как то искать эллемент по содержанию других эллементов внутри - например есть div без класа, внутри него див с другими классами , например точно известно что в эллемента есть @имячеловека, его Фон белый и т.д , спарсить с реакта только так можно, на условии что как только эллемент появляется на экране и его параметр по Y больше чем предыдущего.
Вы только что описали xpath выражение
Вобще, как то можно организовать цикл на проверку по координатам Y? И вообще искать вложенные эллементы от внешнего дива? Типо новый вид поиска - по отправной точке, как например тут внешний div, в нем уже невзирая на смену основных div's от родительского искать по структуре компонента.
Что то вы мешаете мягкое с тёплым. Судя по вашему описанию, парсинг по xpath должен прекрасно справится с задачей
