@FastSpace said in Ошибка 429 на Яндексе (веб-браузер).:
А если он умеет, то это облегачает задачу в 100500 раз
Ну раз так все просто, то топик совсем ни о чем и сейчас все все сделают и заживут долго и счастливо, как и жили до этого и подобных топиков.
Я буду только рад, что народ счастлив.
@sergerdn said in Ошибка 429 на Яндексе (веб-браузер).:
@FastSpace said in Ошибка 429 на Яндексе (веб-браузер).:
А если он умеет, то это облегачает задачу в 100500 раз
Ну раз так все просто, то топик совсем ни о чем и сейчас все все сделают и заживут долго и счастливо, как и жили до этого и подобных топиков.
Я не сказал, что это просто.
Я сказал что есть инструмент который может помочь.
Без скаппу например эту задачу я не смог бы выполнить, а так если месяц другой покопаться, то шанс есть
@FastSpace said in Ошибка 429 на Яндексе (веб-браузер).:
то шанс есть
Конечно, есть. Но это же шанс на получение результата, а не готовый результат.
Реальность такова(я слышал это много раз), что вот если бы разработчик имел готовый софт/решение, то вот "мы бы его купили".
Да не купили бы, потому что если у меня был бы готовый софт или решение(я в этом топике не говорил, кстати, что у меня его нет), я бы его не продавал. Это во первых, а во вторых потому что если я бы его и продавал бы, то сумма была бы такой, что никому бы не понравилась. А смысла продавать софт за сумму, за которую никто не купит, конечно же, нет никакого.
Мне интересна только оплата за разработку и поиск рабочих путей - когда заказчик берет на себя все риски. А если решение уже готово… ну, такую «корову» доить буду только я.
@FastSpace said in Ошибка 429 на Яндексе (веб-браузер).:
Без скаппу
Не вижу никакого смысла использовать scapy. Я делал перехват пакетов, делал на Golang, так как производительность была очень близка к C/C++.
Есть нюансы, что при перехвате пакетов, если сервер нагружен, то Linux может начать пропускать пакеты для фильтрации/модификации тихо и незаметно. Причем независимо что используется - pcap, libnetfilter или, для совсем "извращенцев", eBPF.
А нагрузочные тесты с метриками(https://prometheus.io/) и проверками, конечно же, никто не делает.
@FastSpace said in Ошибка 429 на Яндексе (веб-браузер).:
@sergerdn То что там пройдет случайно 1 из 10000 пакетов не страшно
Чтобы это понять, надо как раз навесить метрики, которые, вероятно покажут немного другой порядок цифр, если разработчики ядра в Linux не изменили логику отбрасывания пакетов.
Для меня лично копаться в исходниках ядра уже перебор, высматривать такие изменения я уже не буду.
@FastSpace said in Ошибка 429 на Яндексе (веб-браузер).:
И там наверняка уже что-то есть мощнее чем libnetfilter.
eBPF, круче некуда.
Вывод из этого топика (и не только) и пока 7(семи человек), который стучат мне в телегу за идеями, направлениями, решениями и не знаю чем еще, так как некоторые сами не могут сказать четко и ясно что им от меня надо.
В Рунет пришел песец в виде Антифрода, который был в Интернете давно и везде.
Основываясь на своем опыте работы с "нормальными" сайтами(не Рунет), думаю, что дальше будет только хуже, как раньше уже не будет никогда.
Если сайт начал прореживать число фродеров, он уже не остановится, а будет только закручивать гайки. Вопрос исключительно в скорости закручивания гаек.
Я.д.кс с момента введения капчи знает кто реальный посетитель, а кто нет. Другое дело, что он не "наказывал" толком никого до последнего момента, а сейчас стал. Вероятно, причины такого решения с его стороны лежал в "политической" плоскости.
Ответ на извечный вопрос - "а что теперь делать?" у меня простой- работать также, как работают люди в обычном Интернете, не Рунете. Это возможно.
Обычная схема работы обычного теха, кто борется с обычным Антифродом:
Чем более известный обход, чем больше людей его знают и используют, чем меньше оно живет. Из этого вывод - нашел способ, используй его и не отсвечивай деталями, так как долго не проживет.
Я понимаю, что я выше написал боян на бояне, но судя по моем опыту общения с ребятами, кто работает по Рунету, не всем эти бояны известны.
@FastSpace said in Ошибка 429 на Яндексе (веб-браузер).:
@sergerdn said in Ошибка 429 на Яндексе (веб-браузер).:
@FastSpace said in Ошибка 429 на Яндексе (веб-браузер).:
@sergerdn ipv6 P0f там
В паблике нигде даже подмены ipv4 нету нормальной, не говоря уже про ipv6Все решаемо. Вообще все. Вопрос только в $$$$ и моем времени или(!!!) любого другого человека с похожим опытом и эрудицией.
Такие люди есть. Я лично знаю как минимум одного такого, кроме меня.
Скаппу умеет подменять ipv6
А если он умеет, то это облегачает задачу в 100500 раз
О какой подмене идет речь? В IPv6 прокси нет p0f такого как в IPv4. А фулер для IPv4 прокси это вообще ща не проблема. В паблику нет, но люди продают явно. Но поверь от 429 ошибки в яше тебя это не спасет. И еще говорил что в CEF версии нет 429 ошибки. Я еще пока не тестил. И разрабу баса я писал о проблеме. Но там особо не было развития он хочет не знаю что от меня. Могу от себя сказать пару заметок что я натестил. Антифрод проверяет фингер, p0f, айпи, подсети, AS и это все накапливает и анализирует. А еще начало сессии в яндексе, если тупо вбить быстрый ввод запроса то это будет явным фактором от которого будет 429 ошибка. Много разрабов на басе сделали уже обход и уменьшили кол-во 429 ошибок.
@rsgmsk said in Ошибка 429 на Яндексе (веб-браузер).:
В IPv6 прокси нет p0f такого как в IPv4.
Такого нет., есть другой.
@rsgmsk said in Ошибка 429 на Яндексе (веб-браузер).:
И еще говорил что в CEF версии нет 429 ошибки.
Это же Антифрод, если все завтра начнут делать на этой версии, то тоже будет.
@rsgmsk said in Ошибка 429 на Яндексе (веб-браузер).:
Антифрод проверяет фингер, p0f, айпи, подсети, AS и это все накапливает и анализирует
Это все неважно, потому что никто доподлинно не знает. Антифроды пишут люди, люди ошибаются. Это все, что нужно знать.
@rsgmsk said in Ошибка 429 на Яндексе (веб-браузер).:
А фулер для IPv4 прокси это вообще ща не проблема. В паблику нет, но люди продают явно.
Это никогда не было проблемой, если знаешь и умеешь или есть $$$$ нанять человека, который знает и умеет. У меня давно есть мысли написать подмену и выложить в открытый доступ. Останавливает то, что может быть есть люди, для которых это бизнес. Не хочется им портить его. С другой стороны не мое это дело, в общем не решил пока.
@FastSpace said in Ошибка 429 на Яндексе (веб-браузер).:
@rsgmsk полная чушь, в ipv6 есть свой отпечаток. Вместо ttl там hop limit и т.д.
С нормальным отпечатком на ipv6 почти в 0 ошибки 429.
Костылями люди уже в линуксе поменяли пару циферек чтобы он был похож на андройд.
Покажи, мне метод и что там подменили.
@sergerdn said in Ошибка 429 на Яндексе (веб-браузер).:
Это никогда не было проблемой, если знаешь и умеешь или есть $$$$ нанять человека, который знает и умеет. У меня давно есть мысли написать подмену и выложить в открытый доступ. Останавливает то, что может быть есть люди, для которых это бизнес. Не хочется им портить его. С другой стороны не мое это дело, в общем не решил пока.
Да причем тут люди которые зарабатывают на этом. Если хочешь делать для паблика это то делай.
Я протестировал за последние несколько дней "этот ваш фигандекс" вдоль и поперек(не на объеме и не на дистанции, это важно), нашел пачку в общем-то обычных(!!!) приёмов, которые пока(!!!) работают.
Проблем нет, совсем, никаких, нигде и ни с чем. При условии, если подходить к нему также, как, к примеру к Google.
Все проблемы решаются ровно также, как и решаются, если заменить сайт на любой другой(не Рунет) аналогичный.
Если что-то работало вчера, а сегодня перестало, это не заслуга теха, а упущение сайта, который позволял обращаться с собой очень нагло. Теперь не позволяет, что вообще то и есть норма.
@FastSpace said in Ошибка 429 на Яндексе (веб-браузер).:
@sergerdn Все прокси во всех шопах должны быть говном и это никогда не должно меняться
Прокси будут такими, какие они есть, пока есть люди, которые их покупают.
Справедливости надо сказать, что поставщики проксей медленно, но меняются(не Рунет).
