Какая то проблема с получением отпечатков

[FastSpace]

@UserTrue Ну 10к врятли есть в общей базе запросов, я не тестил сколько у меня, но запросов 500 было в секунду, канал 100 это держал.
Вся проблема с фингерами это SSD и чтении их в базе по условиям. Пришлось разжится M2 Samsung 980 PRO Pcie 4-0.

[A Former User]

@FastSpace said in Какая то проблема с получением отпечатков:

@UserTrue Ну 10к врятли есть в общей базе запросов, я не тестил сколько у меня, но запросов 500 было в секунду, канал 100 это держал.
Вся проблема с фингерами это SSD и чтении их в базе по условиям. Пришлось разжится M2 Samsung 980 PRO Pcie 4-0.

Какая разница сколько есть фингеров в базе, речь то не о хранение ( и кстати нафига ты их в базе хранишь не понятно ) Проблема в том, что фингеры огромные и серваку надо много времени, чтобы обслужить все запросы

[FastSpace]

@UserTrue said in Какая то проблема с получением отпечатков:

@FastSpace said in Какая то проблема с получением отпечатков:

@UserTrue Ну 10к врятли есть в общей базе запросов, я не тестил сколько у меня, но запросов 500 было в секунду, канал 100 это держал.
Вся проблема с фингерами это SSD и чтении их в базе по условиям. Пришлось разжится M2 Samsung 980 PRO Pcie 4-0.

Какая разница сколько есть фингеров в базе, речь то не о хранение ( и кстати нафига ты их в базе хранишь не понятно ) Проблема в том, что фингеры огромные и серваку надо много времени, чтобы обслужить все запросы

В смысле какая? Чем больше фингеров в базе, тем больше время занимает процесс чтения и записи, или ты думаешь в той же кастом базе почему лимит стоит 30к? Эта одна из причин почему я там не храню, а еще у меня условий получения с десяток своих которых нет в действии получить отпечаток.

[A Former User]

@FastSpace Аха, фингеры то нафига в базе хранить. А если бы у тебя был видео сервер ты бы фильмы тоже в нее заливал ? xD

[FastSpace]

@UserTrue а в чем тогда хранить и поддерживает ли это условия получения сложные, одним из преимуществ базы mysql это таймер в реал тайм, поэтому там и храню

[A Former User]

@FastSpace Хранить на диске, в базе хранить путь и необходимые параметры для фильтрации.

[tet-vivi]

@UserTrue если потребуется добавить ещё параметр/ы для получения, то нескольким ёмким станет процесс этого*?

* т.е. если новые нужные параметры не будут в бд

[A Former User]

@tet-vivi said in Какая то проблема с получением отпечатков:

@UserTrue если потребуется добавить ещё параметр/ы для получения, то нескольким ёмким станет процесс этого?

Чего? Ничего не понял. Ну добавь, в чем проблема вообще не понятно

[FastSpace]

@UserTrue это ничего не изменит, всю равно нужно будет прочитать с диска этот отпечаток, а это ресурсы i.o и канал.

[A Former User]

@tet-vivi said in Какая то проблема с получением отпечатков:

• т.е. если новые нужные параметры не будут в бд

Сомневаюсь, что это часто бывает. И нет проблемы написать скрипт на любом ЯП в 20 строк которые пройдет по твоим файлам отпечатков и соберет их них новые параметры

[A Former User]

@FastSpace said in Какая то проблема с получением отпечатков:

то ничего не изменит, всю равно нужно будет прочитать с диска этот отпечаток, а это ресурсы i.o и канал.

аха изменит, думаешь крупные сайты все на одном сервер хранят ? ) Это тебе так кажется, а серверов может быть десятки

Как минимум можно легко масштабировать дисковое пространство, интернет канал тоже легко разгрузить. Например твой модуль для получения отпечатка делает запрос на твой основной кастом сервер с БД, тот смотрит и видит, что нужный отпечаток лежит на сервере №2, и он просто делает редирект на этот сервер и все!

[FastSpace]

@UserTrue да я понял, так можно сделать, но мне это не надо :) я не продаю доступы к фингерам и у меня нет 100500 запросов :)

[A Former User]

@FastSpace said in Какая то проблема с получением отпечатков:

@UserTrue да я понял, так можно сделать, но мне это не надо :) я не продаю доступы к фингерам и у меня нет 100500 запросов :)

А ты сам начал про себя, речь была про общий сервер отпечатков ) Непонятно нафига они сами себе гемор создали с этим перфектом, вот я например его вообще почти не использую и думаю таких овер дохрена, а кому надо тот получал бы как и раньше

[FastSpace]

@UserTrue я начал это из того что выше обсуждалось мол надо отрубить эту фичу, когда можно оптимизировать выдачу и я думаю скила у разработчика как это сделать гораздо больше. Если даже я смог сделать сотку.

[BasLike]

Вообще не понял прикол, и что теперь будет фингерпринт новый все время? Вот такой километровый с цифрами? У меня вся работа встала, сколько лет работало все без проблем, сейчас надо было выдумать этот прикол. Кто знает, можно надеяться на откат или все скрипты теперь переписывать под эту километровую хрень?

[BasLike]

С ума сойти, сохранил в файл -вышло 7мб этих цифр... 10 000 фингеров - вот уже 70Гб надо... Это же треш полный. Никогда этими цифрами не пользовался, и вот что теперь делать? Кто может подскажет, если удалить этот perfectcanvas и сохранять в файл без него, отпечаток сам не пострадает, будет воспроизводиться без багов?

[A Former User]

@BasLike не пострадает, если руки прямые и вырезать ровно :)

[BasLike]

@Bigma спасибо, буду пробовать

[titus]

@BasLike
стандартный модуль json )

[FastSpace]

@BasLike 7 мб всего лишь? Кто хочет сделать 25-50? Добавь сайтов со звуком в сбор в режиме онлайн с форума, эти хэши передут ко всем.