@FastSpace У меня до сих пор глаз дергается когда вспоминаю как 2 года назад залез в эту тематику для создания чат бота для авито.
@wwhite said in Повтор отпечатков:
@FastSpace Есть более простые способы?
Есть, подключаешь Custom Server и пилишь логику сбора отпечатка с юзеров без повторов
@FastSpace вообще то - бас не собирает дважды с одного пользователя - там в куки пометка делается и в локал сторадже.
Откуда он там повторы нашел - странно.
@DuckDuck said in Повтор отпечатков:
@FastSpace вообще то - бас не собирает дважды с одного пользователя - там в куки пометка делается и в локал сторадже.
Откуда он там повторы нашел - странно.
Бас вообще ничего не собирает. Это собирает JS на сайте 😉
Насколько я помню там 3 дня таймаут между сборами с 1 устройства, т.е за 10 дней можно легко получить 3 дубля, но это условные дубли, там минор версия может поменятся и еще по мелочи. Я себе сделал 10 чтобы даже таких дублей нет.
Есть еще дохера случаев почему может собрать дубль, но мне лень расписывать, я их все пофиксил.
@DuckDuck said in Повтор отпечатков:
@wwhite там не так все однозначно - уникальных хешей в целом не так много. Их там чето около +- 700 или еще меньше, не помню уже, и они коррелируют с видюхой. Поэтому таким путем вы не получите желаемый результат.
Уникальных хешей +- 10 канваса в пределах системы.
@wwhite said in Повтор отпечатков:
Теоретически perfect canvas может быть отрисован два раза на одном и том же устройстве? Как проверять canvas отпечатки на дубли?
В данный момент существует 2 способа борьбы с дублями
1)Custom Server со своим кодом
2)Сравнение методом шингла.
Третьего не дано.
@FastSpace said in Повтор отпечатков:
@wwhite said in Повтор отпечатков:
Как вы проверяете отпечатки на повтор?
Гугли алгоритм шинглов
Есть необходимость проверить 10000 строк на дубли. В строках отпечатки.
Читаю то что ты посоветовал форумчанину "Поясню: для каждого шингла рассчитывается 84 значения контрольной суммы через разные функции (например SHA1, MD5, CRC32 и т.д., всего 84 функции). Итак каждый из текстов будет представлен, можно сказать, в виде двумерного массива из 84х строк, где каждая строка характеризует соответствующую из 84х функций контрольных сумм.
...
И последний этап — сравнение. Сравниваем между собой 84 элемента первого массива с соответствующими 84ю элементами второго массива, считаем отношение одинаковых значений, из этого получаем результат.
"
И это только 2 строки сравнить. А если их 10000.
Вопрос. Реально стоит начинать пробовать писать скрипт или такого плана скрипт тупо повесит комп? Это же получается каждую новую строку нужно будет сравнить со всеми строками имеющимися в файле.
А простого сравнения хэша, например, CRC32 полученной fingerprint-строки (или текстового файла, в котором сохранен отпечаток) недостаточно?
я решил этот вопрос таким способом:
ибо оказалось что фингеры все отличаются буквально на пару байтов даже те, что полностью одинаковые, т.е. нельзя просто сравнить 2 файла и удалить полный дубль. эта прога решила эту проблему
сначала удалил все перфект канвасы, фингеры уменьшились на 99% потом прогнал этой штукой, удалив дубликаты которые повторялись на 97% мне этого показалось достаточным. из 33к отпечатков осталось 14к
@FastSpace заблуждение, хотя не серьезное. У меня два айфона одинаковой модели, но разные версии IOS. Отпечаток сильно отличается. И канвас, и webgl и другие параметры. Не знаю что будет если обновить телефон до новой версии IOS. Если вдруг отпечаток старый, то и "сафари" тоже должен быть старый. Вообще, надобность отпечаток очень сильно переоценена. Более того, никто из юзеров fingerprintmaganer не подменяет webgl hash, то есть он рандомный, что по сути анулирует все усилия, если кто-то действительно это проверяет.
@nazar21015 said in Повтор отпечатков:
@FastSpace заблуждение, хотя не серьезное. У меня два айфона одинаковой модели, но разные версии IOS. Отпечаток сильно отличается. И канвас, и webgl и другие параметры. Не знаю что будет если обновить телефон до новой версии IOS. Если вдруг отпечаток старый, то и "сафари" тоже должен быть старый. Вообще, надобность отпечаток очень сильно переоценена. Более того, никто из юзеров fingerprintmaganer не подменяет webgl hash, то есть он рандомный, что по сути анулирует все усилия, если кто-то действительно это проверяет.
Вся APPLE техника это отдельный набор фингерпринтов, под нее антифрод пишеться тоже отдельно. Там даже хром ограничен в сборе кучи фич, а их собственный сафари это вообще минимум инфы о посетителе.
@basuser123 said in Повтор отпечатков:
я решил этот вопрос таким способом:
Я тоже раньше так делал, чекал на 99% дубли, но это неправильно.
Способ с собирает частей фингерпринта куда точнее.
@basuser123 Можно ли проверить сохраненные отпечатки пальцев на наличие дубликатов БЕЗ удаления предварительно вычисленных PerfectCanvases? Может быть, с помощью программы Duplicate Cleaner или каким-то другим способом? Спасибо.
@morpheus93 да думаю также с помощью этой же проги, просто так они будут в 100 раз больше и может займет больше времени, не знаю не пробовал. я понял что канвасы с публичных фингеров мне не нужны поэтому я отрезал их
кстати я там скрипт выложил в соседней теме если захочешь фингеры без канвасов качать там пару строк кода добавлено. точнее он качает полный а сохраняет обрезаный)
@morpheus93 said in Повтор отпечатков:
@basuser123 Можно ли проверить сохраненные отпечатки пальцев на наличие дубликатов БЕЗ удаления предварительно вычисленных PerfectCanvases? Может быть, с помощью программы Duplicate Cleaner или каким-то другим способом? Спасибо.
Я при сравнении всегда использую алгоритм Levenshtein. Он вычисляет как близко находятся сравниваемые строки.
Не уверен, что это подходящий алгоритм для сравнения отпечатков, надо тестировать.
Для точного сравнения пользуюсь доработанным вариантом - https://www.jsondiff.com/. Там есть исходники.
Спасибо, ребята, что поделились своими предложениями по сравнению отпечатков пальцев. Вчера я попробовал "Duplicate cleaner Pro" с настройками 97% на папке с несколькими тысячами отпечатков пальцев, и он полностью замедлил работу рабочей станции высокого класса, на которой он был запущен. Пришлось остановить его через пару часов.
Любые другие рекомендации для готового программного решения, которое было бы немного более производительным.
пришла идея, соответственно вопрос в паблик
интересно стало по какому полю можно отсеять дубликаты компа по файлам json, если даже отпечаток немного меняется со временем. если никто не знает, или не скажет, то сам сделаю исследование на скачаной базе и отпишу тут)
