@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Есть платное решение, но дорогое (2500$). Хотел бы найти аналоги.
Часто бывает, что пилить свой велосипед обходиться дороже, чем купить готовое. Да и не возможно это, если нет нужного человека в команде. А судя по постам такого человека нет в команде нет.
@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Что хотел получить от скрипта:
Анализ профилей: сколько дней прошло с момента присвоения куки Яндексом
Postgres может хранить данные как json/jsonb. А значит можно, чтобы получить инфу по cookies, просто использовать один sql запрос(наверное).
CREATE TABLE cookie_storage (
id SERIAL PRIMARY KEY,
cookie_data JSONB NOT NULL
);
SELECT cs.*
FROM cookie_storage cs,
jsonb_array_elements(cs.cookies) as cookie
WHERE cookie ->> 'domain' = 'example.com';
Другой вариант - создать таблицу нужного формата и вставлять туда данные, а не полностью объект json. И делать классический sql запрос с поиском по таблице. Формат cookies заранее известен, тоже вполне себе решение.
CREATE TABLE cookies (
id SERIAL PRIMARY KEY,
name VARCHAR(256),
value TEXT,
url TEXT,
domain VARCHAR(256),
path VARCHAR(256),
secure BOOLEAN,
http_only BOOLEAN,
same_site VARCHAR(20), -- Assuming a short string value for CookieSameSite type
expires TIMESTAMPTZ, -- TimeSinceEpoch can be stored as a timestamp with time zone
priority VARCHAR(20), -- Assuming a short string value for CookiePriority type, and marking as EXPERIMENTAL
same_party BOOLEAN, -- EXPERIMENTAL
source_scheme VARCHAR(20), -- Assuming a short string value for CookieSourceScheme type, and marking as EXPERIMENTAL
source_port INTEGER, -- Valid values are {-1, [1, 65535]}
partition_key TEXT, -- EXPERIMENTAL
partition_key_not_set BOOLEAN -- A boolean to indicate if the partition key is not set, instead of a nullable column
);
ALTER TABLE cookies
ADD COLUMN last_updated TIMESTAMPTZ DEFAULT CURRENT_TIMESTAMP;
-- This ensures that any update to a row will change the last_updated field to the current time
CREATE OR REPLACE FUNCTION update_last_updated_column()
RETURNS TRIGGER AS $$
BEGIN
NEW.last_updated = CURRENT_TIMESTAMP;
RETURN NEW;
END;
$$ language 'plpgsql';
CREATE TRIGGER update_cookies_last_updated
BEFORE UPDATE ON cookies
FOR EACH ROW
EXECUTE FUNCTION update_last_updated_column();
SELECT *
FROM cookies
WHERE last_updated >= CURRENT_DATE
AND last_updated < CURRENT_DATE + INTERVAL '1 day';
SELECT *
FROM cookies
WHERE last_updated >= NOW() - INTERVAL '24 hours';
@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Динамика нагула профиля по дням: были ли посещения сайтов в течение 24 часов на ежедневной основе в рамках конкретного профиля (чтобы бот выглядел максимально естественно в глазах Яндекс.Поиска)
Количество профилей, которые BAS прокачал за последние 24 часа (чтобы понимать, на сколько стабильно софт прокачивает профили и понимать, какое количество профилей осталось БЕЗ прокачки)
Решается примерно так же, как я написал выше.
@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Оповещение: если прекратилась прокачка, в течение 3–5 минут (к примеру приложение на BAS отвалилось или windows сервер завис и т.д., чтобы оперативно подключиться к серверу и исправить проблему)
Способов реализации множество. Но конкретно эта задача выглядит как преждевременная оптимизация, поначалу можно сделать скриптом, что по расписанию скрипт будет дергать статистику из базы и слать на почту уведомление с нужной информацией.
P.S.
Может быть, при больших объемах данных, имеет смысл использовать NoSql. Или, как делают многие, данные хранят в одном месте, потом они переливаются в другое, а там уже строится статистика.
Есть специальные сервисы, что устраивают pipes. И данные могут перелить и webhooks сделать.
@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
@tartaria И что это вам даст?
Будут хотя-бы какие-то метрики по профилям, чтобы понимать, какие профиля Яндекс помечает как ботов (выводит капчу), а какие нет.
@maxsiman said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
он больше на другое смотрит.
Поделитесь, пожалуйста, своим наблюдением. На что смотрит Яндекс по вашему?
@robengo said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
вопрос в палевности самого баса.
Как именно палится BAS? На сколько я знаю, палятся как-раз НЕ прогреты профиля.
2-3 дня прогрева на мой взгляд маловато.
@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
А судя по постам такого человека нет в команде нет.
Верно, такого человека в команде нет, по этому bpoe готовые решения.
Но вы как обычно даете годные рекомендации :) Благодарю!
@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
поначалу можно сделать скриптом, что по расписанию скрипт будет дергать статистику из базы и слать на почту уведомление с нужной информацией.
Принято, во внимание! Да, надо упростить по началу, главное, чтобы профиля "нагуливались" регулярно, без простаивания.
@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Может быть, при больших объемах данных, имеет смысл использовать NoSql. Или, как делают многие, данные хранят в одном месте, потом они переливаются в другое, а там уже строится статистика.
Большой объем данных это сколько записей? К примеру сейчас активно прокачивается 40.000 профилей. Это большой объем?
@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Будут хотя-бы какие-то метрики по профилям, чтобы понимать, какие профиля Яндекс помечает как ботов (выводит капчу), а какие нет.
Да ничего у вас не будет если что честно ) Есть способ, но я его озвучивать не стану. Это совсем нет как описано у вас.
Вы можете хоть месяц прокачивать и получить отрицательные результаты.
@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Большой объем данных это сколько записей? К примеру сейчас активно прокачивается 40.000 профилей. Это большой объем?
Да понятия не имею, имеет значения не кол-во профилей, а кол-во cookies. Надо ставить тесты, постепенно настраивая сервер баз данных и смотреть логи запросов.
Если делал бы я, вероятно, я бы выбрал NoSql. Формат данных меняться не будет, вероятно, не нужны фишки реляционных баз данных, да и вообще, любое решение NoSql будет сильно быстрее работать.
Надо ставить тесты в любом случае.
И по результатам их уже принимать решение. Обсуждать на форуме технические подробности бессмысленно. Это даст лишь совсем общие представления, не более. В реальном использовании это не поможет.
Ну сделаете что-то, будет подтормаживать, придете на форум спрашивать почему тормозит? И будет простыня конфигов с логами?
@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Верно, такого человека в команде нет
А должен быть.
@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Научился у _@_FastSpace?😂
Я тебе больше скажу я даже за хорошую оплату далеко не все стану рассказывать xD
@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Я тебе больше скажу я даже за хорошую оплату далеко не все стану рассказывать xD
Да не, я не о том, что есть что-то, что ты не хочешь говорить. Это то как раз мне понятно.
А о том, что ты пишешь что знаешь, но не скажешь. Вот это мне никогда не было понятно, кто бы это не писал. Нафига писать то это?
Я и у _@_FastSpace спрашивал зачем он это делает, но он ни разу не ответил.
@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Как именно палится BAS? На сколько я знаю, палятся как-раз НЕ прогреты профиля.
https://community.bablosoft.com/topic/25977/что-может-детектить-в-бас/5?_=1699023956448
@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
А о том, что ты пишешь что знаешь, но не скажешь. Вот это мне никогда не было понятно, кто бы это не писал. Нафига писать то это?
Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...
@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
А о том, что ты пишешь что знаешь, но не скажешь. Вот это мне никогда не было понятно, кто бы это не писал. Нафига писать то это?
Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...
У меня шас строка кода в JS, при выполнении в браузере Doplhin, Zennoposter и BAS это строка возвращает false. В реальном браузере true.
Это не бесполезная фигня
@FastSpace said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
У меня шас строка кода в JS, при выполнении в браузере Doplhin, Zennoposter и BAS это строка возвращает false. В реальном браузере true.
Это не бесполезная фигня
Дак я не про это, а про первый пост данной темы
@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...
А по моему писал, что знаешь, но не скажешь. Да, написал во втором предложении. Но сути дела не меняет.
@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Да ничего у вас не будет если что честно ) Есть способ, но я его озвучивать не стану.
@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
@FastSpace said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
У меня шас строка кода в JS, при выполнении в браузере Doplhin, Zennoposter и BAS это строка возвращает false. В реальном браузере true.
Это не бесполезная фигняДак я не про это, а про первый пост данной темы
Да это итак понятно было. BAS проходит клоуд после изоляции фреймов когда разработчик починил, отсекать сайты с ним не вижу смысла.
@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...
А по моему писал, что знаешь, но не скажешь. Да, написал во втором предложении. Но сути дела не меняет.
Надо смотреть какие запросы уходят в яндекс.
Наверняка @UserTrue нашёл что-то типо &bot=true
@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
А по моему писал, что знаешь, но не скажешь. Да, написал во втором предложении. Но сути дела не меняет.
Я уже помог тем что сказал, что человек не там ищет. А нравится тебе или нет как я это сказал мне поебать если честно
@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Я уже помог тем что сказал, что человек не там ищет. А нравится тебе или нет как я это сказал мне поебать если честно
Я не сказал, что мне не нравится, а спросил зачем ты это написал. Ты только что ответил.
P.S.
Материться невежливо.
@FastSpace said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Надо смотреть какие запросы уходят в яндекс.
Наверняка @UserTrue нашёл что-то типо &bot=true
Не знаю, он не так давно писал, что не работает с Яндексом вообще.
Наверное, с тех пор что-то изменилось. Уже работает.
@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):
Не знаю, он не так давно писал, что не работает с Яндексом вообще.
Наверное, с тех пор что-то изменилось. Уже работает.
Я с ним раньше работал много, ПФ накручивал в том числе. Как бы за 5 лет с БАС с чем я только не работал )))
