CustomServer чистка базы

[sergerdn]

@SuperMario said in CustomServer чистка базы:

@sergerdn Скпасибо кэп, а то выше не написано как это делают люди сейчас.

Да пожалуйста, только отпечатки из админки custom servers можно скачивать архивом и подсовывать своего экспортеру в свою базу, которая реализует нужный API для своих скриптов.

[SuperMario]

@sergerdn А вы пробовали хоть раз скачать от туда базу архивом, когда в ней больше 20 000 хотя бы ? Для того чтобы держать базу у себя на 30 000 отпечатков нужна впс стоимость 50 долларов в месяц - так как диск нужен большой. Поднимать свою базу, писать фильтры, придумывать APi = гениальное решение.
Это все равно что прийти в салон автомобилей и предлажить сделать опцию без ковриков и зимпакета - а в ответ получить - ну вы можете купить нашь автомобиль, разобрать его на запчасти и собрать свой, какой вам нравится ... жесть.

[sergerdn]

@SuperMario said in CustomServer чистка базы:

@sergerdn А вы пробовали хоть раз скачать от туда базу архивом, когда в ней больше 20 000 хотя бы ?

Нет, но мы же автоматизаторы, мы же можем написать скрипт, который по расписанию будет логиниться в админку и скачивать архив куда меньшего размера.

@SuperMario said in CustomServer чистка базы:

Для того чтобы держать базу у себя на 30 000 отпечатков нужна впс стоимость 50 долларов в месяц - так как диск нужен большой.

Как сделать бесплатно - я не знаю. Знал бы - обязательно бы написал. Диск не нужен мега-большой, отпечатки отлично сжимаются любым алгоритмом, включая zip.

@SuperMario said in CustomServer чистка базы:

Поднимать свою базу, писать фильтры, придумывать APi = гениальное решение.

Зато рабочее. Мир не идеальный, иногда приходится иметь дело с тем, что имеем, а не с тем, что хотелось бы.

@SuperMario said in CustomServer чистка базы:

Это все равно что прийти в салон автомобилей и предлажить сделать опцию без ковриков и зимпакета - а в ответ получить - ну вы можете купить нашь автомобиль, разобрать его на запчасти и собрать свой, какой вам нравится ... жесть.

BAS для меня лишь средство для разработки, то есть конструктор и не является готовым решением, в отличие от автомобиля. Я думаю, что данная аналогия не совсем уместна в текущем контексте, так как автомобиль это готовый продукт.

Многие сервисы вокруг BAS, как и сам BAS, несовершенные. Я смирился с этим и пытаюсь работать в тех условиях, которые есть.

[biohacker01]

@sergerdn

вашими же словами, мы хотим чтоб это было из коробки.
Ну или на вариант что передадут исходники серверной части по сбору всех данных из js в отпечаток тоже подходит

[FastSpace]

Проблема в том, что разработчик не будет ковырять кастом сервер. Задач много - разработчик 1. Остаётся использовать как есть

Себе авто очистку отпечатка по истечении 14 дней его нахождения в базе я уже сделал. Пришлось помудохаться.

@SuperMario said in CustomServer чистка базы:

И я за, сейчас написал целый скрипт - чтоб он дергал ненужные. Но во первых это нагружает ваши сервера, а во вторых еще и лемиты ест.

Можешь свой JS написать небольшой перед скриптом разработчика, в кастом базу будут попадать только нужные.

[sergerdn]

@biohacker01 said in CustomServer чистка базы:

вашими же словами, мы хотим чтоб это было из коробки.

Странно, что ты запостил это в тему, которая имеет весьма косвенное отношение к моей.
В моей теме был баг(вероятно), а тут feature request.

Сделать свой API это вполне себе стандартный путь решения проблемы. И мало того, он еще и весьма известный среди разработчиков. И даже есть сервисы, которые могут это сделать с помощью пару кликов мыши(ну почти).

А вот с console.log все пути кривые и косые. Я попробовал все, что смог найти, ничего не работает. Я в той теме это не отписал, так как поленился.

Есть еще огромное преимущества пилить свой API - народ страдает, а кто сделал свое API пользуется довольный. Если разработчик BAS что-то делает, это доступно всем, а свое API - кому сам решишь.

Все мы коллеги, но значительная часть форума считает друг друга конкурентами, что лично по моему мнению не так. Но таково уже мнение большинства, это часть нашей реальности.

[sergerdn]

@SuperMario said in CustomServer чистка базы:

Для того чтобы держать базу у себя на 30 000 отпечатков нужна впс стоимость 50 долларов в месяц - так как диск нужен большой

Вспомнил, что есть дешевые хранилища данных. Если хранить отпечатки в сжатом виде, то 250Gb хватит примерно на 85К отпечатков, если считать размер сжатого zip отпечатка 3Mb, это с запасом.

В свой базе можно хранить мета-данные, а сами данные в хранилище и выдавать ссылку на скачивание своим скриптам.

Свое API имеет множество преимуществ. Что нужно лично тебе, то ты и делаешь. А не просишь разработчика, да и часто бесполезно это.
Быстрее сделать самому, чем убедить кого-то в нужности тебе каких-то фич.

Если уже виртуалка и к ней надо место:

Vultr Object Storage is flexible, scalable on demand, and compatible with applications that use the S3 API(дешевле просто некуда):

[biohacker01]

выдавать отпечатки другим пользователям является нарушением )

[sergerdn]

@biohacker01 said in CustomServer чистка базы:

выдавать отпечатки другим пользователям является нарушением )

Себе можно.

[sergerdn]

Также можно запилить pipes с помощью сервиса, это когда программировать API не умеешь ну или просто лень.

Сам толком не пользовался, только баловался немного:

https://pipedream.com

Теоретически сервис может сам понимать, что загружены файлы в хранилище, получать информацию о них, анализировать, складывать в базу и так далее.

Теоретически можно сделать такое workflow:

Предварительная обработка:

• загружать скриптом/вручную файлы в хранилище
• https://pipedream.com понимает, что файл загружен и запускает цепочку обработки файлов

Цепочка обработки:

• анализируется отпечаток и присваиваются ему мета-данные
• метаданные складываются в базу

Выдача отфильтрованных данных:

• на начальном этапе можно брать напрямую из БД

Лично я бы писал бы сам, наверное, не используя https://pipedream.com.
Так как я смог бы тесты написать и запускать их периодически, чтобы проверить не сломалось ли чего.
Да и в принципе, задача не выглядит мегасложной.

Триггер на загрузку файлов в хранилище в https://pipedream.com:

[SuperMario]

@sergerdn Мы с тобой из разных реальностей - я из того мира - где, если я заплатил, я получаю удобный продукт. И цель этой темы именно обратить внимание разработчика на удобство и нагрузку на сервера бабласофт.
Ты из мира самоделкиных - у которого есть напильник на любой случай жизни - китайская розетка бьет током - не проблема - сейчас возьму напильник и сделаю из нее немецкую розетку. Доширак не буябез - не проблема, щас купим рыбы мидий и доделаем ... Нет проблем. такой подход имеет право на жизнь. Только не понятна цель именно твоя - можно все что угодно допиливать.
Моя цель донести до разработчика мысль - что можно сделать удобнее и эффективнее.

[FastSpace]

@SuperMario said in CustomServer чистка базы:

Моя цель донести до разработчика мысль - что можно сделать удобнее и эффективнее.

Напрасные старания, разработчик один, а задач много, поэтому навыки самоделкина в деле с басом очень пригодятся

[SuperMario]

@FastSpace Да я не против самодельничества - просто в этой теме никто не просил советоа как сделать костыль.
Проблема в том что люди пишут не по теме.
Не вижу проблем сделать запрос на удаление по тегам - одним запросом удалить сразу все мобильные например. Это легкая задача. А снимает нагрузку на их сервера.
А предложенное решение - нагружать сервера баблософта - все равно выкачивать всю базу .... Он даже не знает что архивом скачать базу больше 20 000 например тупо не получится.
Я не разделяю вашь пессимизм - если много пользователей просят о функционале - то он реализуется.

[sergerdn]

@SuperMario said in CustomServer чистка базы:

@sergerdn Мы с тобой из разных реальностей

Из одной мы реальности, где разработчики стороннего софта не всегда делают то, что нужно пользователям.

@SuperMario said in CustomServer чистка базы:

Только не понятна цель именно твоя - можно все что угодно допиливать.

Так выбора то нет, или допиливаешь или не пользуешься. Или пользуешься, но страдаешь.

[SuperMario]

@sergerdn Милый мой - перечитай еще раз первые сообщения - у каждого есть свой костыль. УЖЕ есть, и как бы тема была обращена к тем - кто может сказать разработчику, чего не хватает.

[sergerdn]

@SuperMario said in CustomServer чистка базы:

@sergerdn Милый мой

Спасибо😄

@SuperMario said in CustomServer чистка базы:

УЖЕ есть, и как бы тема была обращена к тем - кто может сказать разработчику, чего не хватает.

За столько длинной веткой обсуждения, я уж утерял начальный смысл топика, вероятно.

[SuperMario]

@sergerdn Есть темы обращенные непосредственно к разработчику. Ни в коем разе не умоляю ваши скилы, но если вы не являетесь представителем команды разработчиков, или непосредственно ответственным за данный функционал, то может и не стоит засорять такие темы ?

[sergerdn]

@SuperMario said in CustomServer чистка базы:

то может и не стоит засорять такие темы ?

Для тебя - засорять, а другой придет, может быть, найдет что-то полезное.
У разработчика есть приватная поддержка по почте. Поддержка на форуме не оказывается.

На форуме же анархия😄

[SuperMario]

@sergerdn said in CustomServer чистка базы:

@SuperMario said in CustomServer чистка базы:

то может и не стоит засорять такие темы ?

Для тебя - засорять, а другой придет, может быть, найдет что-то полезное.
У разработчика есть приватная поддержка по почте. Поддержка на форуме не оказывается.

На форуме же анархия😄

А для тебя цель написать для других ?
На форуме есть люди из команды, и очень ответственные, возможно даже за конкретно этот функционал.

[Fox]

@sergerdn said in CustomServer чистка базы:

На форуме же анархия😄

На форуме есть модер, который наводит порядок

@SuperMario said in CustomServer чистка базы:

Логично сделать кубик - удаление фингеров из костом сервера - где можно выбрать по тегам что удалять. При этом можно переносить эти фингеры например в общую базу ...

• было бы хорошо иметь конфигуратор для скрипта по сбору - чтобы можно было выбрать по каким тегам собирать. И скрипт бы собирал только по этим тегам.

Хорошая идея