CustomServer чистка базы

[sergerdn]

@SuperMario said in CustomServer чистка базы:

Для того чтобы держать базу у себя на 30 000 отпечатков нужна впс стоимость 50 долларов в месяц - так как диск нужен большой

Вспомнил, что есть дешевые хранилища данных. Если хранить отпечатки в сжатом виде, то 250Gb хватит примерно на 85К отпечатков, если считать размер сжатого zip отпечатка 3Mb, это с запасом.

В свой базе можно хранить мета-данные, а сами данные в хранилище и выдавать ссылку на скачивание своим скриптам.

Свое API имеет множество преимуществ. Что нужно лично тебе, то ты и делаешь. А не просишь разработчика, да и часто бесполезно это.
Быстрее сделать самому, чем убедить кого-то в нужности тебе каких-то фич.

Если уже виртуалка и к ней надо место:

Vultr Object Storage is flexible, scalable on demand, and compatible with applications that use the S3 API(дешевле просто некуда):

[biohacker01]

выдавать отпечатки другим пользователям является нарушением )

[sergerdn]

@biohacker01 said in CustomServer чистка базы:

выдавать отпечатки другим пользователям является нарушением )

Себе можно.

[sergerdn]

Также можно запилить pipes с помощью сервиса, это когда программировать API не умеешь ну или просто лень.

Сам толком не пользовался, только баловался немного:

https://pipedream.com

Теоретически сервис может сам понимать, что загружены файлы в хранилище, получать информацию о них, анализировать, складывать в базу и так далее.

Теоретически можно сделать такое workflow:

Предварительная обработка:

• загружать скриптом/вручную файлы в хранилище
• https://pipedream.com понимает, что файл загружен и запускает цепочку обработки файлов

Цепочка обработки:

• анализируется отпечаток и присваиваются ему мета-данные
• метаданные складываются в базу

Выдача отфильтрованных данных:

• на начальном этапе можно брать напрямую из БД

Лично я бы писал бы сам, наверное, не используя https://pipedream.com.
Так как я смог бы тесты написать и запускать их периодически, чтобы проверить не сломалось ли чего.
Да и в принципе, задача не выглядит мегасложной.

Триггер на загрузку файлов в хранилище в https://pipedream.com:

[SuperMario]

@sergerdn Мы с тобой из разных реальностей - я из того мира - где, если я заплатил, я получаю удобный продукт. И цель этой темы именно обратить внимание разработчика на удобство и нагрузку на сервера бабласофт.
Ты из мира самоделкиных - у которого есть напильник на любой случай жизни - китайская розетка бьет током - не проблема - сейчас возьму напильник и сделаю из нее немецкую розетку. Доширак не буябез - не проблема, щас купим рыбы мидий и доделаем ... Нет проблем. такой подход имеет право на жизнь. Только не понятна цель именно твоя - можно все что угодно допиливать.
Моя цель донести до разработчика мысль - что можно сделать удобнее и эффективнее.

[FastSpace]

@SuperMario said in CustomServer чистка базы:

Моя цель донести до разработчика мысль - что можно сделать удобнее и эффективнее.

Напрасные старания, разработчик один, а задач много, поэтому навыки самоделкина в деле с басом очень пригодятся

[SuperMario]

@FastSpace Да я не против самодельничества - просто в этой теме никто не просил советоа как сделать костыль.
Проблема в том что люди пишут не по теме.
Не вижу проблем сделать запрос на удаление по тегам - одним запросом удалить сразу все мобильные например. Это легкая задача. А снимает нагрузку на их сервера.
А предложенное решение - нагружать сервера баблософта - все равно выкачивать всю базу .... Он даже не знает что архивом скачать базу больше 20 000 например тупо не получится.
Я не разделяю вашь пессимизм - если много пользователей просят о функционале - то он реализуется.

[sergerdn]

@SuperMario said in CustomServer чистка базы:

@sergerdn Мы с тобой из разных реальностей

Из одной мы реальности, где разработчики стороннего софта не всегда делают то, что нужно пользователям.

@SuperMario said in CustomServer чистка базы:

Только не понятна цель именно твоя - можно все что угодно допиливать.

Так выбора то нет, или допиливаешь или не пользуешься. Или пользуешься, но страдаешь.

[SuperMario]

@sergerdn Милый мой - перечитай еще раз первые сообщения - у каждого есть свой костыль. УЖЕ есть, и как бы тема была обращена к тем - кто может сказать разработчику, чего не хватает.

[sergerdn]

@SuperMario said in CustomServer чистка базы:

@sergerdn Милый мой

Спасибо😄

@SuperMario said in CustomServer чистка базы:

УЖЕ есть, и как бы тема была обращена к тем - кто может сказать разработчику, чего не хватает.

За столько длинной веткой обсуждения, я уж утерял начальный смысл топика, вероятно.

[SuperMario]

@sergerdn Есть темы обращенные непосредственно к разработчику. Ни в коем разе не умоляю ваши скилы, но если вы не являетесь представителем команды разработчиков, или непосредственно ответственным за данный функционал, то может и не стоит засорять такие темы ?

[sergerdn]

@SuperMario said in CustomServer чистка базы:

то может и не стоит засорять такие темы ?

Для тебя - засорять, а другой придет, может быть, найдет что-то полезное.
У разработчика есть приватная поддержка по почте. Поддержка на форуме не оказывается.

На форуме же анархия😄

[SuperMario]

@sergerdn said in CustomServer чистка базы:

@SuperMario said in CustomServer чистка базы:

то может и не стоит засорять такие темы ?

Для тебя - засорять, а другой придет, может быть, найдет что-то полезное.
У разработчика есть приватная поддержка по почте. Поддержка на форуме не оказывается.

На форуме же анархия😄

А для тебя цель написать для других ?
На форуме есть люди из команды, и очень ответственные, возможно даже за конкретно этот функционал.

[Fox]

@sergerdn said in CustomServer чистка базы:

На форуме же анархия😄

На форуме есть модер, который наводит порядок

@SuperMario said in CustomServer чистка базы:

Логично сделать кубик - удаление фингеров из костом сервера - где можно выбрать по тегам что удалять. При этом можно переносить эти фингеры например в общую базу ...

• было бы хорошо иметь конфигуратор для скрипта по сбору - чтобы можно было выбрать по каким тегам собирать. И скрипт бы собирал только по этим тегам.

Хорошая идея

[A Former User]

@SuperMario said in CustomServer чистка базы:

Я не разделяю вашь пессимизм - если много пользователей просят о функционале - то он реализуется.

Скоро разделите 🤣

[sergerdn]

@Fox said in CustomServer чистка базы:

На форуме есть модер, который наводит порядок

Вероятно, мне надо было отдельно указать, что это шутка.

Если серьезно, то api получения отпечатка выглядит откровенно устаревшим.
Например, мне был хотелось бы получать по нормальному swagger api отпечаток по параметрам:

• OS: Windows, Mac, etc
• Browser: Chrome, Egde, etc. Это сделано на данный момент через tags, но работает криво.

Но api можно сделать самому, а вот маркировку посетителя в custom servers, чтобы его можно было потом опознать в отпечатке, самому уже сделать не понятно как.

Об этом на форуме писали уже множество раз и я и другие. И писали в том числе, почему это надо.

Например хотелось бы видеть:

document.addEventListener("DOMContentLoaded", function() {
    const uuid_visitor = "5b0de7c3-2344-4ef5-b64c-dee0f55f33db";
    ProcessFingerprint(false, "my_key_admin_panel", uuid_visitor)
})

А в самом отпечатке есть группа полей _meta, где находится этот самый uuid_visitor.
Почему группа полей - чтобы в будущем можно было туда добавлять что-то еще:

{
	"_meta": {
		"uuid_visitor": "5b0de7c3-2344-4ef5-b64c-dee0f55f33db"
	},
	"perfectcanvas": {
		"2452430454": "some_value"
	}
}

[sergerdn]

@sergerdn said in CustomServer чистка базы:

Если серьезно, то api получения отпечатка выглядит откровенно устаревшим.
Например, мне был хотелось бы получать по нормальному swagger api отпечаток по параметрам:

Что-то вроде этого:

Parameters

• browser_version_major (string): The major version of the browser (e.g., 118, 117, etc).
• width (integer): The width of the screen in pixels.
• height (integer): The height of the screen in pixels.
• is_full_screen (boolean): Indicates whether the browser is in full-screen mode.
  • Based on the attributes(attr):
    • screen.availHeight
    • screen.availWidth
    • screen.width
    • screen.height
• screen_color_depth (integer): The color depth of the screen.
• screen_pixel_depth (integer): The pixel depth of the screen.
• device_memory (float): The amount of device memory in gigabytes.
• device_pixel_ratio (float): The device's pixel ratio.
• platform (object):
  • os (enum): The platform os (e.g., Windows, Mac, Linux).
  • device_type (enum): The type of device.
    • For Desktop:
      • "Desktop"
    • For Mobile:
      • "Mobile"
    • For Tablet:
      • "Tablet"
• unmaskedVendor (enum): WebGL vendor information.
  • Example values:
    • "Google Inc. (AMD)"
    • "NVIDIA Corporation (NVIDIA)"
    • "Intel Corporation (Intel)"
• unmaskedRenderer (enum): WebGL renderer information.
  • Example values:
    • "ANGLE (AMD, AMD Radeon RX 5700 XT Direct3D11 vs_5_0 ps_5_0, D3D11)"
    • "Mesa DRI Intel(R) HD Graphics 5500 (Broadwell GT2)"
    • "NVIDIA GeForce GTX 1660 Ti/PCIe/SSE2"

[FastSpace]

Надо сначала спасибо сказать чтот этот custom servers вообще существует, разработчик долго не мог его запилить, а то что существует не так как хочеться, придеться самому подпилить

[sergerdn]

@FastSpace said in CustomServer чистка базы:

Надо сначала спасибо сказать чтот этот custom servers вообще существует, разработчик долго не мог его запилить, а то что существует не так как хочеться, придеться самому подпилить

Согласен, вот еще бы иметь фичу, как я написал выше - вообще счастье было бы.

https://community.bablosoft.com/topic/22574/customserver-чистка-базы/29