САЙТ жестко палит BAS. Реальный юзер агент движка

[A Former User]

@DoctorKrolic said in САЙТ жестко палит BAS. Реальный юзер агент движка:

@FastSpace Ну так я и смотрел на заголовки

А теперь посмотре не в снифере, а в дебагере браузера, во вкладке сеть. Процес worker делает запрос к https://webbrowsertools.com/echo/ua и этот запрос идет с реальным юзерагентом да еще и мимо прокси, так что еще и реальный ip утекает

[DoctorKrolic]

@UserTrue Да там добрая половина запросов уходит не с тем юзер-агентом. Моя реакция на это: https://youtu.be/I-JdS2cNHMY?t=133

[FastSpace]

Это еще не вся прелесть.

https://webbrowsertools.com/ip-address/

У них тут есть методы REMOTE_ADDR ($ _SERVER) и HTTP_X_FORWARDED_FOR ($ _SERVER
Когда у меня был открыт реальный хром на домашнем провайдере, а затем я запустил бас с прокси, то сайт определил что мой ip хромовкий как-то связан с прокси. "найти ближайший сервер, который отвечает за доставку контента в ваш браузер". Т.е это рубет на корню любой многопоток с разными диапазонами прокси.

[DoctorKrolic]

@FastSpace Короче, ясно. Первое, чем будем тестить новый движок - этот сайт

[FastSpace]

@DoctorKrolic said in САЙТ жестко палит BAS. Реальный юзер агент движка:

@FastSpace Короче, ясно. Первое, чем будем тестить новый движок - этот сайт

Главное чтобы такого не произошло

Непредвиденные обстоятельства. В процессе разработки может случиться все, вплоть до отката до CEF. Но такой вариант развития маловероятен.

[venom777]

@Vaip said in САЙТ жестко палит BAS. Реальный юзер агент движка:

@FastSpace если сравнивать 79 и 88 версию, там много изменений, причём некоторые относятся к юа, а бас уже давным давно течёт как друшлак))) данные системы проверки не столь глубоки, поработай с моат, форенсик и будешь удручен анонимность 79 движка с мега кривыми отпечатками)

Подтверждаю. На практике видно что бас где-то палится, к сожалению это так, ждем фиксы) Думаю это особо важный момент, и работать с ним нужно прежде всего, когда в серьезном деле начали палить бот активность пришлось останавливать всю работу. К слову в тех же местах аналоги баса не палятся, ковырял уже все что угодно, прокси всех мастей, профили, отпечатки, канвасы, поведение... к сожалению нет, а аналог не палят даже без всех этих лишних движений.

[support]

Здесь код помещенный в serviceWorker получает заголовок до того, как запрос будет отправлен на сервер. Тогда как BAS старой версии заменял заголовки перед отправкой. Я проверил, данная проблема отсутствует на новом движке. Поэтому для решения нужно ждать обновления.

а бас уже давным давно течёт как друшлак)))

Согласен, сейчас его все нормальные ботдетекторы палят.

ладно движок, но платить за фингер, которые мало того что не проходят никакой хотя-бы элементарной фильтрации, так они ещё и разного формата

На практике видно что бас где-то палится, к сожалению это так, ждем фиксы) Думаю это особо важный момент, и работать с ним нужно прежде всего, когда в серьезном деле начали палить бот активность пришлось останавливать всю работу.

Вы очень поможете если будете так же прилагать информацию о методах повторения ошибки. Напоминаю, что на форуме есть специальная тема для этого https://community.bablosoft.com/topic/12198/исследование-защиты-сайтов

[A Former User]

@support said in САЙТ жестко палит BAS. Реальный юзер агент движка:

Здесь код помещенный в serviceWorker получает заголовок до того, как запрос будет отправлен на сервер. Тогда как BAS старой версии заменял заголовки перед отправкой. Я проверил, данная проблема отсутствует на новом движке. Поэтому для решения нужно ждать обновления.

а бас уже давным давно течёт как друшлак)))

Согласен, сейчас его все нормальные ботдетекторы палят.

ладно движок, но платить за фингер, которые мало того что не проходят никакой хотя-бы элементарной фильтрации, так они ещё и разного формата

На практике видно что бас где-то палится, к сожалению это так, ждем фиксы) Думаю это особо важный момент, и работать с ним нужно прежде всего, когда в серьезном деле начали палить бот активность пришлось останавливать всю работу.

Вы очень поможете если будете так же прилагать информацию о методах повторения ошибки. Напоминаю, что на форуме есть специальная тема для этого https://community.bablosoft.com/topic/12198/исследование-защиты-сайтов

Будем ждать новый движок, сейчас все проблемы в нем в основном а не в отпечатках.

[A Former User]

@support said in САЙТ жестко палит BAS. Реальный юзер агент движка:

Я проверил, данная проблема отсутствует на новом движке. Поэтому для решения нужно ждать обновления.

И с прокси тоже? Этот запрос через сервис воркер ушел мимо прокси установленного в бас.

[support]

@UserTrue said in САЙТ жестко палит BAS. Реальный юзер агент движка:

И с прокси тоже? Этот запрос через сервис воркер ушел мимо прокси установленного в бас.

Можно узнать, на чем это основывается?

Вот видео в котором четко видно, что ни один пакет не ушел/пришел напрямую после установки прокси.

https://www.youtube.com/watch?v=KPSxU_QFcQA&feature=youtu.be

[support]

Выше вы писали:

@UserTrue said in САЙТ жестко палит BAS. Реальный юзер агент движка:

Согласен, сейчас его все нормальные ботдетекторы палят.

Хотелось бы увидеть подтверждающие это факты, с шагами воспроизведения.

[A Former User]

@support said in САЙТ жестко палит BAS. Реальный юзер агент движка:

Можно узнать, на чем это основывается?

Включил в качестве прокси fiddler и данного запроса не было в трафике, увидел его только в самом браузере.

[A Former User]

@support said in САЙТ жестко палит BAS. Реальный юзер агент движка:

Выше вы писали:

@UserTrue said in САЙТ жестко палит BAS. Реальный юзер агент движка:

Согласен, сейчас его все нормальные ботдетекторы палят.

Хотелось бы увидеть подтверждающие это факты, с шагами воспроизведения.

Смысл? обновите движок там посмотрим. Это то что вспомнил за последнее время. Эти защиты стояли на сайтах и блокировали доступ из БАС полностью либо частично
https://www.perimeterx.com/
https://www.imperva.com
https://www.akamai.com

[support]

@UserTrue

Включил в качестве прокси fiddler и данного запроса не было в трафике, увидел его только в самом браузере.

Это довольно интересный метод тестирования. Однако в нем есть существенный недочет. Если запрос не будет отправлен браузером на сервер(например взят из кеша), то у вас может сложиться впечатление, что при отправке запроса не был использован прокси. Именно это и произошло в данном случае.

Запрос https://webbrowsertools.com/echo/ua никогда не отправляется на сервер, а обрабатывается в serviceWorker вот здесь https://webbrowsertools.com/useragent/worker.js. Собственно в этом и заключается метод описанный в заголовке темы. В качестве подтверждения вы также можете провести свой тест в обычном браузере, там этот запрос тоже не попадет в fiddler.

При подобных исследованиях(работает прокси или нет), лучше все-таки использовать мой метод, так как он позволяет избежать подобного рода проблем.

[support]

@UserTrue said in САЙТ жестко палит BAS. Реальный юзер агент движка:

Смысл? обновите движок там посмотрим. Это то что вспомнил за последнее время. Эти защиты стояли на сайтах и блокировали доступ из БАС полностью либо частично

Ну смысла в этом точно больше чем писать подобные сообщения ничем их не подкрепляя:

Согласен, сейчас его все нормальные ботдетекторы палят.

Отвечая прямо на ваш вопрос. Смысл в том, чтобы иметь больше тестов перед релизом. Зная о проблеме заранее будет легче ее исправить. Да и вам самому разве не хочется чтобы с сайтом, с которым вы работаете, не было проблем?

https://www.perimeterx.com/
https://www.imperva.com
https://www.akamai.com

Спасибо, но тут недостаточно прикрепить 3 урл. Нужно детальней описать проблему с шагами воспроизведения.

[A Former User]

@support said in САЙТ жестко палит BAS. Реальный юзер агент движка:

Да и вам самому разве не хочется чтобы с сайтом, с которым вы работаете, не было проблем?

Лично мне уже давно надоел расписывать проблемы и тратить время, тк 90% это в воздух.

[support]

@UserTrue

тк 90% это в воздух.

Что касается премиум почты и темы "Исследование защиты сайтов.", мы не оставляем запросов пользователей без внимания. Да, есть несколько запросов, которые были отложены до апдейта движка, но я о них помню и буду тестировать перед релизом. Даже в этой теме, на все сообщения, которые содержали хоть какую-то информацию я ответил. Я лично помню сообщения от вас, на которые была реакция и соответствующие фиксы, например https://community.bablosoft.com/post/66911.

Лично мне уже давно надоел расписывать проблемы

Тут увы я ничего сделать не могу. Дело в том, что сайтов в сети огромное множество, как и множество разных защит. Отследить все сами мы не можем. Поэтому мы нуждаемся в конструктивных, содержательных репортах от своих пользователей. Чем больше таких будет, тем качественней будет ставать софт, поэтому вы прямо можете повлиять на разработку описывая проблемы с которыми сталкиваетесь.

К тому же лично мне не очень приятно, когда есть тема в которой полно коротких сообщений "все палится", но детали никто не сообщает. Получается, что проблема как бы есть, но исправить ее невозможно.

[A Former User]

@support said in САЙТ жестко палит BAS. Реальный юзер агент движка:

Тут увы я ничего сделать не могу. Дело в том, что сайтов в сети огромное множество, как и множество разных защит. Отследить все сами мы не можем. Поэтому мы нуждаемся в конструктивных, содержательных репортах от своих пользователей. Чем больше таких будет, тем качественней будет ставать софт, поэтому вы прямо можете повлиять на разработку описывая проблемы с которыми сталкиваетесь.
К тому же лично мне не очень приятно, когда есть тема в которой полно коротких сообщений "все палится", но детали никто не сообщает. Получается, что проблема как бы есть, но исправить ее невозможно.

Я лично и не прошу, потому что как я писал выше я думаю эти проблемы исчезнут после перехода на нормальный хромиум тк на хромиум движке у меня нет таких проблем.

[A Former User]

@support said in САЙТ жестко палит BAS. Реальный юзер агент движка:

К тому же лично мне не очень приятно, когда есть тема в которой полно коротких сообщений "все палится", но детали никто не сообщает. Получается, что проблема как бы есть, но исправить ее невозможно.

А так происходи потому, что как я написал 90% в воздух и у людей пропадает желание. Вы крайне выборочно относитесь к проблема БАС, что для вас критично обсуждаете и правите, а что нет даже не комментируете. Игра в одни ворота как бы, кто тут выживает учатся сами выдумывать способы решения.

[support]

@UserTrue said in САЙТ жестко палит BAS. Реальный юзер агент движка:

А так происходи потому, что как я написал 90% в воздух и у людей пропадает желание. Вы крайне выборочно относитесь к проблема БАС, что для вас критично обсуждаете и правите, а что нет даже не комментируете. Игра в одни ворота как бы, кто тут выживает учатся сами выдумывать способы решения.

Можно пример проигнорированного запроса на премиум почту старше 2 рабочих дней? Или то же самое в теме по исследованию защиты? Там есть несколько на которые я не ответил, но я его отложил, и это не 10% отвеченных, о которых вы говорите.

На форуме я отвечаю на запросы очень редко и избирательно отчасти потому что их много, отчасти потому что качество оформления не всегда на достаточно для того, чтобы понять проблему.

И у меня тоже пропадает желание реагировать на сообщения когда люди заявляют об ошибке, а потом их ну буквально нужно уговаривать сказать еще немного деталей. Вот как сейчас с вами. Это отнимает много времени.