Повтор отпечатков

[morpheus93]

@basuser123 Можно ли проверить сохраненные отпечатки пальцев на наличие дубликатов БЕЗ удаления предварительно вычисленных PerfectCanvases? Может быть, с помощью программы Duplicate Cleaner или каким-то другим способом? Спасибо.

[basuser123]

@morpheus93 да думаю также с помощью этой же проги, просто так они будут в 100 раз больше и может займет больше времени, не знаю не пробовал. я понял что канвасы с публичных фингеров мне не нужны поэтому я отрезал их
кстати я там скрипт выложил в соседней теме если захочешь фингеры без канвасов качать там пару строк кода добавлено. точнее он качает полный а сохраняет обрезаный)

[sergerdn]

@morpheus93 said in Повтор отпечатков:

@basuser123 Можно ли проверить сохраненные отпечатки пальцев на наличие дубликатов БЕЗ удаления предварительно вычисленных PerfectCanvases? Может быть, с помощью программы Duplicate Cleaner или каким-то другим способом? Спасибо.

Я при сравнении всегда использую алгоритм Levenshtein. Он вычисляет как близко находятся сравниваемые строки.

Не уверен, что это подходящий алгоритм для сравнения отпечатков, надо тестировать.

[Vituskosoy]

Для точного сравнения пользуюсь доработанным вариантом - https://www.jsondiff.com/. Там есть исходники.

[morpheus93]

Спасибо, ребята, что поделились своими предложениями по сравнению отпечатков пальцев. Вчера я попробовал "Duplicate cleaner Pro" с настройками 97% на папке с несколькими тысячами отпечатков пальцев, и он полностью замедлил работу рабочей станции высокого класса, на которой он был запущен. Пришлось остановить его через пару часов.

Любые другие рекомендации для готового программного решения, которое было бы немного более производительным.

[basuser123]

пришла идея, соответственно вопрос в паблик

интересно стало по какому полю можно отсеять дубликаты компа по файлам json, если даже отпечаток немного меняется со временем. если никто не знает, или не скажет, то сам сделаю исследование на скачаной базе и отпишу тут)

[morpheus93]

@basuser123 Я несколько раз задавал себе тот же вопрос, но, к сожалению, до сих пор не разобрался в нем детально. Если я окажусь быстрее, а я не думаю, что это произойдет, я опубликую решение здесь ;)

[basuser123]

@morpheus93
я думаю просто со всех отпечатков жавой выдрать 10-20 полей которые должны быть уникальными и сравнить их в базе данных посмотреть какие отличаются почти всегда, но иногда повторяются. надеюсь этим методом можно узнать по какому полю проверять. к концу недели наверное сделаю и отпишу, пока другим вопросом занят) проблема что я уже отсортировал 110к отпечатков и удалил дубликаты там где было повторение 90% вот той программой выше) так что хз что оно сейчас мне покажет.. может придется заново перегонять все 100к сначала обрезать от канвасов а потом прочекивать таким методом.. ну будет видно надеюсь к выходным

[FastSpace]

@basuser123 мобильные отпечатки легко сравнить на дубли, в brand модель телефона прям пишет. Собираешь в рамках одной версии браузера по 1 модели.

ПК отпечатки по видяхе, цп, оперативки, и ещё там парочку значений дергаю. По ним отсекаю дубли в течении 3 часов. Потом обновляю на сервере все что накопил и заново.

Дублей в моей базе минимум.

[basuser123]

@DuckDuck said in Повтор отпечатков:

@wwhite там не так все однозначно - уникальных хешей в целом не так много. Их там чето около +- 700 или еще меньше, не помню уже, и они коррелируют с видюхой. Поэтому таким путем вы не получите желаемый результат.

можно вопрос-уточнение? т.е. всего получается разных вариантов наборов канвасов около 700 штук, включая все браузеры и системы, или я не так понял?
и второй вопрос - если все так однозначно, то можно ли сказать тогда что "вот этот канвас" с, например, оперы и винды?