@nedarwin1217 Ты сам всё сказал, тебе нужны либо нормальные прокси, либо нормальный браузер. Что проше сростить, скажу сразу иди путем браузера.
Kasada анти-бот анти-фрод
-
Думаю, некоторые из Вас слышали про эту антибот систему. В общем, в большей степени это решение для защиты от запросов не через браузер. Почему в большей, так как иногда ложнопозитивно(а может так задумано) не дает отправить запрос внутри браузера
, если сразу после загрузки страницы попытаться войти, зарегистрироваться.Для самых сладких действий нужен токен, который нормально генерируется в браузере, но если стоит задача работы полностью на запросах, то нам нужно деобфусцировать код из 4000 тысяч строк ради одного токена
Понятно, что можно. Проблема в том, что код постоянно обновляется(раз в сутки), и представьте заново деобфусцировать 4000 строк + работа по реинтеграции. Я не удивляюсь, что может все работать со старой версией Kasada, то есть якобы можно забить, что код постоянно обновляется, однако, последнее время антифрод системы стали на тютельку умнее и вполне способны додуматься до обмана, якобы все хорошо, все работает, ничего страшнего, что запросы с токеном генерируются предыдущей версией кода, мы же забавы ради автоматизировали процесс CI/CD (непрерывной интеграции, непрерывной разработки).
Так вот товарищи вопрос к вам, как думаете, можно ли прикрутить AI для деобфускации кода на лету? Я пробовал в chatgpt загрузить код частями - ничего не вышло. Пробовал с альфой 4 версии, вроде как даже сделал ее jailbreak на всякий случай, загрузил файл, но ответ не могу получить, он слишком большой. Т.е изначально была проблемма вводы данных, теперь вывода)). Я не очень силен в деобфускации кода, но думаю, что тут есть на форуме люди, которые много такой работы выполняли и их мнение, способен ли ИИ по сути упразднить понятие обфускация или это привидет к тому, что появиться ИИ-обфускация и так до бесконечности)
Еще момент важный, что существующих ИИ вполне могут искуственно ограничить в этом вопросе, и буквально придется создавать свою ИИ для решения таких задач, что по большей степени дорого я думаю, но имеет смысл более чем.Это касается всех, ибо я думаю, что подобные системы будут вводиться куда чаще и становиться дешевле для владельцев из-за распространения этих "арбузеров" как следствие снижения порога входа благодаря BAS, capsolver.
Есть однозначная корреляция, как бас стал в очень привлекательном виде и рост фрода и потерь от него в разы именно после 21 года))Да вы скажете, что можно работать через браузеры, просто развернуть больше виртуальных машин, но иногда нужно много айпи, и очень целесообразно использовать мобильные/резидентские с платой за трафик. И запросы делают рентабельными прокси, либо куда более рентабельными. Да можно значительно уменьшить расход трафика за счет оптимизации. Но та скорость, на которой работают запросы не может быть никак перекрыта. Это десятки раз.
-
Отвечу немного не по теме:
Обычно я провожу распределение трафика, если использую браузер, когда одни запросы идут через дешевые прокси, а другие через дорогие. Это позволяет экономить до 30-40% трафика.
По деньгам легко рассчитать, если, допустим, дешевые прокси стоят $1 за гигабайт, а дорогие до $30. Можно таким образом кучу денег сэкономить.
Работа специалиста стоит денег. И часто эти деньги нивелирует преимущества экономии трафика и снижение затрат на сервера.
Скрипты, которые работают на запросах не только надо написать, а еще и поддерживать их в рабочем состоянии, что может превратится в головную боль.
Если вы парсите сайты тоннами, то, у вас, конечно выбора нет, браузеры будут очень дорого для вас. И в этом случае не совсем понятно, зачем для этого использовать BAS, так как есть другие более подходящие инструменты.
-
Отвечу по теме:
@nazar21015 said in Kasada анти-бот анти-фрод:
если сразу после загрузки страницы попытаться войти, зарегистрироваться.
Может быть токен не успел генерироваться за короткое время, надо проверять.
@nazar21015 said in Kasada анти-бот анти-фрод:
Я не удивляюсь, что может все работать со старой версией Kasada,
Да, я натыкался на такое, когда подсовываешься браузеру кастомную версию скрипта на javascript и все работает.
@nazar21015 said in Kasada анти-бот анти-фрод:
Так вот товарищи вопрос к вам, как думаете, можно ли прикрутить AI для деобфускации кода на лету?
Не думаю, я пробовал подобные вещи делать. Наверное, надо тренировать свою отдельную модель на эту задачу.
@nazar21015 said in Kasada анти-бот анти-фрод:
Это касается всех, ибо я думаю, что подобные системы будут вводиться куда чаще и становиться дешевле для владельцев из-за распространения этих "арбузеров" как следствие снижения порога входа благодаря BAS, capsolver.
Порог снижается, сайты умнеют. Сейчас ресурсы сильно умнее, чем, к примеру лет 5-ть назад даже.
-
@sergerdn said in Kasada анти-бот анти-фрод:
Порог снижается, сайты умнеют. Сейчас ресурсы сильно умнее, чем, к примеру лет 5-ть назад даже.
я представляю какое раньше было золотое время. Вполне можно было с одного айпи все делать, может быть даже скрипты не были обфусуированными.
-
@nazar21015 said in Kasada анти-бот анти-фрод:
я представляю какое раньше было золотое время.
Да, были времена, когда дело было исключительно в масштабировании процесса, в автоматизации. Умеешь программировать - умеешь и бабло колотить.
В принципе, я бы предпочел, чтобы порог входа в автоматизацию, был как и раньше. Тогда и ресурсы были бы не такие злые.
Но это совсем холивар.
-
В зависимости от методов защиты и байпасы разные. Если чекает запросы, то байпас це кастом курлык. Если js просит исполнить, тут уже вопросы код по итогу 1 и тот же, но постоянно по разному пошифрован или нет, также важно понять чё он чекает от браузера. В целом, должно прокатить хэндлес хром + фингер подсунуть с патчем дефолт функций, как это у баса 23.2.2. В статье на хабре Клауд обходили примерно также. Думаю, если снять 1 фингер с ифона, то можно больше и не париться.
-
@Q_Q На самом деле кому надо те давно все отреверсили Tcc... Когда защита сводится к генерации сложных токенов/отпечатков это хрень, а не защита. А вот когда к ней добавляется тонна не менее сложной аналитики тогда все становится намного печальней.
-
@UserTrue said in Kasada анти-бот анти-фрод:
@Q_Q На самом деле кому надо те давно все отреверсили Tcc... Когда защита сводится к генерации сложных токенов/отпечатков это хрень, а не защита. А вот когда к ней добавляется тонна не менее сложной аналитики тогда все становится намного печальней.
Самая лучшая защита, которую видел, это виртуальная машина, написанная на Javascript и в ней исполняется заранее заготовленный байт-код. Байт код генерируется на стороне сервиса из кода на Javascript.
Байт код виртуальной машины изменяется раз в неделю. Чтобы отревесить ее байт-код, у нескольких человек с учеными степени ушел месяц.
P.S.
Можно погадать по описанию, чье это добро. -
@sergerdn said in Kasada анти-бот анти-фрод:
Самая лучшая защита, которую видел, это виртуальная машина, написанная на Javascript и в ней исполняется заранее заготовленный байт-код. Байт код генерируется на стороне сервиса из кода на Javascript.
Не очень тебя понял, я видел защиты где приходит куча бинарных данных, но все равно есть функция которая их дешифрует и это можно отреверсить, если речь про что-то типо WASM то это можно исполнить в nodejs при желании, ну либо создать один экземпляр браузера и исполнять его там с подсовыванием нужных входных данных.
На самом деле обычно не нужно эмулировать весь код, нужно найти конечный массив данных на основе которого получается нужный токен и найти алгортим его преобразований в этот самый токен. Если преобразования производятся где-то в этом байткоде то ему нужно просто скормить нужные данные. Его нафиг не нужно реверсить
-
@UserTrue said in Kasada анти-бот анти-фрод:
Не очень тебя понял
Попробую перефразировать.
- Виртуальная машина - это Javascript код, который исполняется в браузере, не бинарные данные.
- На вход виртуальная машина принимает байт-код, который частично заранее скомпилирован из Javascript кода(там некая логика) самим сервисом у себя на сервере. Частично компилируется на лету, но не в браузере, а на сервере на основании данных из браузера(отпечаток)
- Opcodes виртуальной машины меняется раз в неделю. Говоря человеческий языком раз в неделю меняется язык виртуальной машины.
-
@sergerdn said in Kasada анти-бот анти-фрод:
На вход виртуальная машина принимает байт-код, который частично заранее скомпилирован из Javascript кода(там некая логика) самим сервисом у себя на сервере. Частично компилируется на лету, но не в браузере, а на сервере на основании данных из браузера(отпечаток)
Такое делал xD
-
@UserTrue said in Kasada анти-бот анти-фрод:
Такое делал xD
Ну тогда можешь отреверсить код, который находится на странице регистрации Google и клепать аккаунты пачками на запросах и стать миллионером.
И плюнуть в спину трем доцентам, у которых ушел месяц на это.
-
@sergerdn said in Kasada анти-бот анти-фрод:
Ну тогда можешь отреверсить код, который находится на странице регистрации Google и клепать аккаунты пачками на запросах и стать миллионером.
Я делал как-то авторизацию. Но уже не работает. Я выше написал, что главная проблема тонна аналитики которую шлют такие сайты. Начиная от поведения пользователя, кончая тем какие картинки, скрипты и загрузила страница за какой время, какие элементы на ней отрисованы и тп, это все реверсить и эмулировать ебнешься, а без этого через сутки скорей всего аккаунты уйдут в бан. Последний пример я сделал регер амазона на запросах, аккаунты как раз сутки и живут...Плюнул и вернул браузер, а после реги все нужные действия в акке отсавил на запросах
И плюнуть в спину трем доцентам, у которых ушел месяц на это.
Они думают как ученые, а нужно думать как взломщик и искать как схитрить
-
@UserTrue said in Kasada анти-бот анти-фрод:
Они думают как ученые, а нужно думать как взломщик и искать как схитрить
Ну так не вопрос, выше я написал рецепт, как стать миллионером.
Берешь и делаешь; и куча бабла сразу посыпется. Правда сыпаться будет недолго, но это уже другая история.В моей практике, когда я много лет назад совершено случайно нашел дырку в Google, чтобы можно было делать аккаунты на запросах, они ее закрыли через неделю, так как я был балбес и стал клепать аккаунты по 100К штук в день.
Причем мне эти аккаунты в таком кол-ве были не нужны. -
@sergerdn said in Kasada анти-бот анти-фрод:
Берешь и делаешь; и куча бабла сразу посыпется. Правда сыпаться будет недолго, но это уже другая история.
Я же уже 2 раза написал в чем главная проблема. Какой-то отдельный токен, или токены отрверсить можно, а вот кучу аналитики генерировать это уже перебор как по мне
-
@UserTrue said in Kasada анти-бот анти-фрод:
Я же уже 2 раза написал в чем главная проблема. Какой-то отдельный токен, или токены отрверсить можно, а вот кучу аналитики генерировать это уже перебор как по мне
Проблема даже не в этом и не сколько в этом, а в том, что пока кто-то отреверсит что-то, код виртуальной машины уже будет изменен к моменту когда уже все будет готово у взломщика.
И результат работы будет полезен только для публикации в научных журналах. Так как результат работы уже устарел.Именно поэтому я считаю этой лучшей защитой, которую я когда либо видел.
-
@UserTrue https://k.twitchcdn.net/149e9513-01fa-4fb0-aad4-566afd725d1b/2d206a39-8ed7-437e-a3be-862e0f06eea3/p.js
и постоянно меняется, когда как, раз в неделю
Там же вполне может быть байпасс браузеров, например, ты много браузеров открываешь, задержки становятся выше нормального, и это как я понимаю вполне может быть в токене, который перехешиован.
Там кода максимум на 1000 строк. -
@nazar21015 said in Kasada анти-бот анти-фрод:
@UserTrue https://k.twitchcdn.net/149e9513-01fa-4fb0-aad4-566afd725d1b/2d206a39-8ed7-437e-a3be-862e0f06eea3/p.js
и постоянно меняется, когда как, раз в неделю
Там же вполне может быть байпасс браузеров, например, ты много браузеров открываешь, задержки становятся выше нормального, и это как я понимаю вполне может быть в токене, который перехешиован.
Там кода максимум на 1000 строк.Да я знаю эту защиту, я же сам с твичом работаю
-
@UserTrue )
Если ты про аналитику тепловых карт (движения мышки), то да, понимаю о чем ты. Но защиты в большинстве случаев комплексные и методов много, поэтому хорошими проксями, мылом, удается зачастую это компенсировать.
Мне больше всего неприятен был pow, брутит свой токен, систему мне грузит(Но да, когда приходится собирать гига фингер самому, эт тоже неприятно.
-
@sergerdn нинаю, по описанию похоже на васм. Дев тулз в позволяет все дебагать, а если поставить логические бреки и логпоинты, все становится ещё приятнее. Тыкал уже васм, можно как с 0 переписать на js, а можно выпилить проверки. А конверторы васм в C позволяют почекать код в ещё более понятном виде.
