CustomServer чистка базы

[Yury]

Отдельной темы для CustomServer я не нашел, пишу сюда. Очень хочется иметь возможность чистить базу по тегам, или сделать фильтр на сохранение отпечатков в базу по выбранным тегам. Ибо собираются отпечатки с сайта все и тут никакого фильтра не поставить. Мне например нужны только десктопные отпечатки, и мобильные отпечатки просто начинают занимать все свободное место в базе.

[A Former User]

делайте проверку, прежде чем запускать код от костом сервера, типо так
https://stackoverflow.com/questions/11381673/detecting-a-mobile-browser

можно и упрощенно проверять в юзер агенте

if ((navigator.userAgent).indexOf("Mobile"))
	alert("Mobile Device");

https://www.opentechguides.com/how-to/article/javascript/98/detect-mobile-device.html

[biohacker01]

Подниму тему, не хватает чистки базы по фильтрам.
Как минимум я мог накопить новые отпечатки сейчас, а позже выбрать удалить отпечатки все отпечатки полученные до 28.10.2023
но сейчас есть 1 способ.
Удалить все отпечатки, и оставить пользователей сидеть без отпечатков неделю, пока не накопиться.
или достичь отметки 30000 и надеятся что затираются старые отпечатки.

[SuperMario]

И я за, сейчас написал целый скрипт - чтоб он дергал ненужные. Но во первых это нагружает ваши сервера, а во вторых еще и лемиты ест.

[SuperMario]

Логично сделать кубик - удаление фингеров из костом сервера - где можно выбрать по тегам что удалять. При этом можно переносить эти фингеры например в общую базу ...

• было бы хорошо иметь конфигуратор для скрипта по сбору - чтобы можно было выбрать по каким тегам собирать. И скрипт бы собирал только по этим тегам.

[sergerdn]

@biohacker01, @SuperMario

Скачивайте отпечатки, фильтруйте по нужным параметрам, раздавайте своим скриптам самостоятельно. Других вариантов на данный момент нет.

[SuperMario]

@sergerdn Скпасибо кэп, а то выше не написано как это делают люди сейчас.

[sergerdn]

@SuperMario said in CustomServer чистка базы:

@sergerdn Скпасибо кэп, а то выше не написано как это делают люди сейчас.

Да пожалуйста, только отпечатки из админки custom servers можно скачивать архивом и подсовывать своего экспортеру в свою базу, которая реализует нужный API для своих скриптов.

[SuperMario]

@sergerdn А вы пробовали хоть раз скачать от туда базу архивом, когда в ней больше 20 000 хотя бы ? Для того чтобы держать базу у себя на 30 000 отпечатков нужна впс стоимость 50 долларов в месяц - так как диск нужен большой. Поднимать свою базу, писать фильтры, придумывать APi = гениальное решение.
Это все равно что прийти в салон автомобилей и предлажить сделать опцию без ковриков и зимпакета - а в ответ получить - ну вы можете купить нашь автомобиль, разобрать его на запчасти и собрать свой, какой вам нравится ... жесть.

[sergerdn]

@SuperMario said in CustomServer чистка базы:

@sergerdn А вы пробовали хоть раз скачать от туда базу архивом, когда в ней больше 20 000 хотя бы ?

Нет, но мы же автоматизаторы, мы же можем написать скрипт, который по расписанию будет логиниться в админку и скачивать архив куда меньшего размера.

@SuperMario said in CustomServer чистка базы:

Для того чтобы держать базу у себя на 30 000 отпечатков нужна впс стоимость 50 долларов в месяц - так как диск нужен большой.

Как сделать бесплатно - я не знаю. Знал бы - обязательно бы написал. Диск не нужен мега-большой, отпечатки отлично сжимаются любым алгоритмом, включая zip.

@SuperMario said in CustomServer чистка базы:

Поднимать свою базу, писать фильтры, придумывать APi = гениальное решение.

Зато рабочее. Мир не идеальный, иногда приходится иметь дело с тем, что имеем, а не с тем, что хотелось бы.

@SuperMario said in CustomServer чистка базы:

Это все равно что прийти в салон автомобилей и предлажить сделать опцию без ковриков и зимпакета - а в ответ получить - ну вы можете купить нашь автомобиль, разобрать его на запчасти и собрать свой, какой вам нравится ... жесть.

BAS для меня лишь средство для разработки, то есть конструктор и не является готовым решением, в отличие от автомобиля. Я думаю, что данная аналогия не совсем уместна в текущем контексте, так как автомобиль это готовый продукт.

Многие сервисы вокруг BAS, как и сам BAS, несовершенные. Я смирился с этим и пытаюсь работать в тех условиях, которые есть.

[biohacker01]

@sergerdn

вашими же словами, мы хотим чтоб это было из коробки.
Ну или на вариант что передадут исходники серверной части по сбору всех данных из js в отпечаток тоже подходит

[FastSpace]

Проблема в том, что разработчик не будет ковырять кастом сервер. Задач много - разработчик 1. Остаётся использовать как есть

Себе авто очистку отпечатка по истечении 14 дней его нахождения в базе я уже сделал. Пришлось помудохаться.

@SuperMario said in CustomServer чистка базы:

И я за, сейчас написал целый скрипт - чтоб он дергал ненужные. Но во первых это нагружает ваши сервера, а во вторых еще и лемиты ест.

Можешь свой JS написать небольшой перед скриптом разработчика, в кастом базу будут попадать только нужные.

[sergerdn]

@biohacker01 said in CustomServer чистка базы:

вашими же словами, мы хотим чтоб это было из коробки.

Странно, что ты запостил это в тему, которая имеет весьма косвенное отношение к моей.
В моей теме был баг(вероятно), а тут feature request.

Сделать свой API это вполне себе стандартный путь решения проблемы. И мало того, он еще и весьма известный среди разработчиков. И даже есть сервисы, которые могут это сделать с помощью пару кликов мыши(ну почти).

А вот с console.log все пути кривые и косые. Я попробовал все, что смог найти, ничего не работает. Я в той теме это не отписал, так как поленился.

Есть еще огромное преимущества пилить свой API - народ страдает, а кто сделал свое API пользуется довольный. Если разработчик BAS что-то делает, это доступно всем, а свое API - кому сам решишь.

Все мы коллеги, но значительная часть форума считает друг друга конкурентами, что лично по моему мнению не так. Но таково уже мнение большинства, это часть нашей реальности.

[sergerdn]

@SuperMario said in CustomServer чистка базы:

Для того чтобы держать базу у себя на 30 000 отпечатков нужна впс стоимость 50 долларов в месяц - так как диск нужен большой

Вспомнил, что есть дешевые хранилища данных. Если хранить отпечатки в сжатом виде, то 250Gb хватит примерно на 85К отпечатков, если считать размер сжатого zip отпечатка 3Mb, это с запасом.

В свой базе можно хранить мета-данные, а сами данные в хранилище и выдавать ссылку на скачивание своим скриптам.

Свое API имеет множество преимуществ. Что нужно лично тебе, то ты и делаешь. А не просишь разработчика, да и часто бесполезно это.
Быстрее сделать самому, чем убедить кого-то в нужности тебе каких-то фич.

Если уже виртуалка и к ней надо место:

Vultr Object Storage is flexible, scalable on demand, and compatible with applications that use the S3 API(дешевле просто некуда):

[biohacker01]

выдавать отпечатки другим пользователям является нарушением )

[sergerdn]

@biohacker01 said in CustomServer чистка базы:

выдавать отпечатки другим пользователям является нарушением )

Себе можно.

[sergerdn]

Также можно запилить pipes с помощью сервиса, это когда программировать API не умеешь ну или просто лень.

Сам толком не пользовался, только баловался немного:

https://pipedream.com

Теоретически сервис может сам понимать, что загружены файлы в хранилище, получать информацию о них, анализировать, складывать в базу и так далее.

Теоретически можно сделать такое workflow:

Предварительная обработка:

• загружать скриптом/вручную файлы в хранилище
• https://pipedream.com понимает, что файл загружен и запускает цепочку обработки файлов

Цепочка обработки:

• анализируется отпечаток и присваиваются ему мета-данные
• метаданные складываются в базу

Выдача отфильтрованных данных:

• на начальном этапе можно брать напрямую из БД

Лично я бы писал бы сам, наверное, не используя https://pipedream.com.
Так как я смог бы тесты написать и запускать их периодически, чтобы проверить не сломалось ли чего.
Да и в принципе, задача не выглядит мегасложной.

Триггер на загрузку файлов в хранилище в https://pipedream.com:

[SuperMario]

@sergerdn Мы с тобой из разных реальностей - я из того мира - где, если я заплатил, я получаю удобный продукт. И цель этой темы именно обратить внимание разработчика на удобство и нагрузку на сервера бабласофт.
Ты из мира самоделкиных - у которого есть напильник на любой случай жизни - китайская розетка бьет током - не проблема - сейчас возьму напильник и сделаю из нее немецкую розетку. Доширак не буябез - не проблема, щас купим рыбы мидий и доделаем ... Нет проблем. такой подход имеет право на жизнь. Только не понятна цель именно твоя - можно все что угодно допиливать.
Моя цель донести до разработчика мысль - что можно сделать удобнее и эффективнее.

[FastSpace]

@SuperMario said in CustomServer чистка базы:

Моя цель донести до разработчика мысль - что можно сделать удобнее и эффективнее.

Напрасные старания, разработчик один, а задач много, поэтому навыки самоделкина в деле с басом очень пригодятся

[SuperMario]

@FastSpace Да я не против самодельничества - просто в этой теме никто не просил советоа как сделать костыль.
Проблема в том что люди пишут не по теме.
Не вижу проблем сделать запрос на удаление по тегам - одним запросом удалить сразу все мобильные например. Это легкая задача. А снимает нагрузку на их сервера.
А предложенное решение - нагружать сервера баблософта - все равно выкачивать всю базу .... Он даже не знает что архивом скачать базу больше 20 000 например тупо не получится.
Я не разделяю вашь пессимизм - если много пользователей просят о функционале - то он реализуется.