CustomServer чистка базы

[sergerdn]

@SuperMario said in CustomServer чистка базы:

@sergerdn А вы пробовали хоть раз скачать от туда базу архивом, когда в ней больше 20 000 хотя бы ?

Нет, но мы же автоматизаторы, мы же можем написать скрипт, который по расписанию будет логиниться в админку и скачивать архив куда меньшего размера.

@SuperMario said in CustomServer чистка базы:

Для того чтобы держать базу у себя на 30 000 отпечатков нужна впс стоимость 50 долларов в месяц - так как диск нужен большой.

Как сделать бесплатно - я не знаю. Знал бы - обязательно бы написал. Диск не нужен мега-большой, отпечатки отлично сжимаются любым алгоритмом, включая zip.

@SuperMario said in CustomServer чистка базы:

Поднимать свою базу, писать фильтры, придумывать APi = гениальное решение.

Зато рабочее. Мир не идеальный, иногда приходится иметь дело с тем, что имеем, а не с тем, что хотелось бы.

@SuperMario said in CustomServer чистка базы:

Это все равно что прийти в салон автомобилей и предлажить сделать опцию без ковриков и зимпакета - а в ответ получить - ну вы можете купить нашь автомобиль, разобрать его на запчасти и собрать свой, какой вам нравится ... жесть.

BAS для меня лишь средство для разработки, то есть конструктор и не является готовым решением, в отличие от автомобиля. Я думаю, что данная аналогия не совсем уместна в текущем контексте, так как автомобиль это готовый продукт.

Многие сервисы вокруг BAS, как и сам BAS, несовершенные. Я смирился с этим и пытаюсь работать в тех условиях, которые есть.

[biohacker01]

@sergerdn

вашими же словами, мы хотим чтоб это было из коробки.
Ну или на вариант что передадут исходники серверной части по сбору всех данных из js в отпечаток тоже подходит

[FastSpace]

Проблема в том, что разработчик не будет ковырять кастом сервер. Задач много - разработчик 1. Остаётся использовать как есть

Себе авто очистку отпечатка по истечении 14 дней его нахождения в базе я уже сделал. Пришлось помудохаться.

@SuperMario said in CustomServer чистка базы:

И я за, сейчас написал целый скрипт - чтоб он дергал ненужные. Но во первых это нагружает ваши сервера, а во вторых еще и лемиты ест.

Можешь свой JS написать небольшой перед скриптом разработчика, в кастом базу будут попадать только нужные.

[sergerdn]

@biohacker01 said in CustomServer чистка базы:

вашими же словами, мы хотим чтоб это было из коробки.

Странно, что ты запостил это в тему, которая имеет весьма косвенное отношение к моей.
В моей теме был баг(вероятно), а тут feature request.

Сделать свой API это вполне себе стандартный путь решения проблемы. И мало того, он еще и весьма известный среди разработчиков. И даже есть сервисы, которые могут это сделать с помощью пару кликов мыши(ну почти).

А вот с console.log все пути кривые и косые. Я попробовал все, что смог найти, ничего не работает. Я в той теме это не отписал, так как поленился.

Есть еще огромное преимущества пилить свой API - народ страдает, а кто сделал свое API пользуется довольный. Если разработчик BAS что-то делает, это доступно всем, а свое API - кому сам решишь.

Все мы коллеги, но значительная часть форума считает друг друга конкурентами, что лично по моему мнению не так. Но таково уже мнение большинства, это часть нашей реальности.

[sergerdn]

@SuperMario said in CustomServer чистка базы:

Для того чтобы держать базу у себя на 30 000 отпечатков нужна впс стоимость 50 долларов в месяц - так как диск нужен большой

Вспомнил, что есть дешевые хранилища данных. Если хранить отпечатки в сжатом виде, то 250Gb хватит примерно на 85К отпечатков, если считать размер сжатого zip отпечатка 3Mb, это с запасом.

В свой базе можно хранить мета-данные, а сами данные в хранилище и выдавать ссылку на скачивание своим скриптам.

Свое API имеет множество преимуществ. Что нужно лично тебе, то ты и делаешь. А не просишь разработчика, да и часто бесполезно это.
Быстрее сделать самому, чем убедить кого-то в нужности тебе каких-то фич.

Если уже виртуалка и к ней надо место:

Vultr Object Storage is flexible, scalable on demand, and compatible with applications that use the S3 API(дешевле просто некуда):

[biohacker01]

выдавать отпечатки другим пользователям является нарушением )

[sergerdn]

@biohacker01 said in CustomServer чистка базы:

выдавать отпечатки другим пользователям является нарушением )

Себе можно.

[sergerdn]

Также можно запилить pipes с помощью сервиса, это когда программировать API не умеешь ну или просто лень.

Сам толком не пользовался, только баловался немного:

https://pipedream.com

Теоретически сервис может сам понимать, что загружены файлы в хранилище, получать информацию о них, анализировать, складывать в базу и так далее.

Теоретически можно сделать такое workflow:

Предварительная обработка:

• загружать скриптом/вручную файлы в хранилище
• https://pipedream.com понимает, что файл загружен и запускает цепочку обработки файлов

Цепочка обработки:

• анализируется отпечаток и присваиваются ему мета-данные
• метаданные складываются в базу

Выдача отфильтрованных данных:

• на начальном этапе можно брать напрямую из БД

Лично я бы писал бы сам, наверное, не используя https://pipedream.com.
Так как я смог бы тесты написать и запускать их периодически, чтобы проверить не сломалось ли чего.
Да и в принципе, задача не выглядит мегасложной.

Триггер на загрузку файлов в хранилище в https://pipedream.com:

[SuperMario]

@sergerdn Мы с тобой из разных реальностей - я из того мира - где, если я заплатил, я получаю удобный продукт. И цель этой темы именно обратить внимание разработчика на удобство и нагрузку на сервера бабласофт.
Ты из мира самоделкиных - у которого есть напильник на любой случай жизни - китайская розетка бьет током - не проблема - сейчас возьму напильник и сделаю из нее немецкую розетку. Доширак не буябез - не проблема, щас купим рыбы мидий и доделаем ... Нет проблем. такой подход имеет право на жизнь. Только не понятна цель именно твоя - можно все что угодно допиливать.
Моя цель донести до разработчика мысль - что можно сделать удобнее и эффективнее.

[FastSpace]

@SuperMario said in CustomServer чистка базы:

Моя цель донести до разработчика мысль - что можно сделать удобнее и эффективнее.

Напрасные старания, разработчик один, а задач много, поэтому навыки самоделкина в деле с басом очень пригодятся

[SuperMario]

@FastSpace Да я не против самодельничества - просто в этой теме никто не просил советоа как сделать костыль.
Проблема в том что люди пишут не по теме.
Не вижу проблем сделать запрос на удаление по тегам - одним запросом удалить сразу все мобильные например. Это легкая задача. А снимает нагрузку на их сервера.
А предложенное решение - нагружать сервера баблософта - все равно выкачивать всю базу .... Он даже не знает что архивом скачать базу больше 20 000 например тупо не получится.
Я не разделяю вашь пессимизм - если много пользователей просят о функционале - то он реализуется.

[sergerdn]

@SuperMario said in CustomServer чистка базы:

@sergerdn Мы с тобой из разных реальностей

Из одной мы реальности, где разработчики стороннего софта не всегда делают то, что нужно пользователям.

@SuperMario said in CustomServer чистка базы:

Только не понятна цель именно твоя - можно все что угодно допиливать.

Так выбора то нет, или допиливаешь или не пользуешься. Или пользуешься, но страдаешь.

[SuperMario]

@sergerdn Милый мой - перечитай еще раз первые сообщения - у каждого есть свой костыль. УЖЕ есть, и как бы тема была обращена к тем - кто может сказать разработчику, чего не хватает.

[sergerdn]

@SuperMario said in CustomServer чистка базы:

@sergerdn Милый мой

Спасибо😄

@SuperMario said in CustomServer чистка базы:

УЖЕ есть, и как бы тема была обращена к тем - кто может сказать разработчику, чего не хватает.

За столько длинной веткой обсуждения, я уж утерял начальный смысл топика, вероятно.

[SuperMario]

@sergerdn Есть темы обращенные непосредственно к разработчику. Ни в коем разе не умоляю ваши скилы, но если вы не являетесь представителем команды разработчиков, или непосредственно ответственным за данный функционал, то может и не стоит засорять такие темы ?

[sergerdn]

@SuperMario said in CustomServer чистка базы:

то может и не стоит засорять такие темы ?

Для тебя - засорять, а другой придет, может быть, найдет что-то полезное.
У разработчика есть приватная поддержка по почте. Поддержка на форуме не оказывается.

На форуме же анархия😄

[SuperMario]

@sergerdn said in CustomServer чистка базы:

@SuperMario said in CustomServer чистка базы:

то может и не стоит засорять такие темы ?

Для тебя - засорять, а другой придет, может быть, найдет что-то полезное.
У разработчика есть приватная поддержка по почте. Поддержка на форуме не оказывается.

На форуме же анархия😄

А для тебя цель написать для других ?
На форуме есть люди из команды, и очень ответственные, возможно даже за конкретно этот функционал.

[Fox]

@sergerdn said in CustomServer чистка базы:

На форуме же анархия😄

На форуме есть модер, который наводит порядок

@SuperMario said in CustomServer чистка базы:

Логично сделать кубик - удаление фингеров из костом сервера - где можно выбрать по тегам что удалять. При этом можно переносить эти фингеры например в общую базу ...

• было бы хорошо иметь конфигуратор для скрипта по сбору - чтобы можно было выбрать по каким тегам собирать. И скрипт бы собирал только по этим тегам.

Хорошая идея

[A Former User]

@SuperMario said in CustomServer чистка базы:

Я не разделяю вашь пессимизм - если много пользователей просят о функционале - то он реализуется.

Скоро разделите 🤣

[sergerdn]

@Fox said in CustomServer чистка базы:

На форуме есть модер, который наводит порядок

Вероятно, мне надо было отдельно указать, что это шутка.

Если серьезно, то api получения отпечатка выглядит откровенно устаревшим.
Например, мне был хотелось бы получать по нормальному swagger api отпечаток по параметрам:

• OS: Windows, Mac, etc
• Browser: Chrome, Egde, etc. Это сделано на данный момент через tags, но работает криво.

Но api можно сделать самому, а вот маркировку посетителя в custom servers, чтобы его можно было потом опознать в отпечатке, самому уже сделать не понятно как.

Об этом на форуме писали уже множество раз и я и другие. И писали в том числе, почему это надо.

Например хотелось бы видеть:

document.addEventListener("DOMContentLoaded", function() {
    const uuid_visitor = "5b0de7c3-2344-4ef5-b64c-dee0f55f33db";
    ProcessFingerprint(false, "my_key_admin_panel", uuid_visitor)
})

А в самом отпечатке есть группа полей _meta, где находится этот самый uuid_visitor.
Почему группа полей - чтобы в будущем можно было туда добавлять что-то еще:

{
	"_meta": {
		"uuid_visitor": "5b0de7c3-2344-4ef5-b64c-dee0f55f33db"
	},
	"perfectcanvas": {
		"2452430454": "some_value"
	}
}