Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL)

sergerdn

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Есть платное решение, но дорогое (2500$). Хотел бы найти аналоги.

Часто бывает, что пилить свой велосипед обходиться дороже, чем купить готовое. Да и не возможно это, если нет нужного человека в команде. А судя по постам такого человека нет в команде нет.

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Что хотел получить от скрипта:

Анализ профилей: сколько дней прошло с момента присвоения куки Яндексом

Postgres может хранить данные как json/jsonb. А значит можно, чтобы получить инфу по cookies, просто использовать один sql запрос(наверное).

Формат cookies: https://chromedevtools.github.io/devtools-protocol/tot/Network/#type-Cookie
Prepare (untested):

CREATE TABLE cookie_storage (
    id SERIAL PRIMARY KEY,
    cookie_data JSONB NOT NULL
);

Поиск (untested):

SELECT cs.*
FROM cookie_storage cs,
jsonb_array_elements(cs.cookies) as cookie
WHERE cookie ->> 'domain' = 'example.com';

Другой вариант - создать таблицу нужного формата и вставлять туда данные, а не полностью объект json. И делать классический sql запрос с поиском по таблице. Формат cookies заранее известен, тоже вполне себе решение.

Sql(untested):

CREATE TABLE cookies (
    id SERIAL PRIMARY KEY,
    name VARCHAR(256),
    value TEXT,
    url TEXT,
    domain VARCHAR(256),
    path VARCHAR(256),
    secure BOOLEAN,
    http_only BOOLEAN,
    same_site VARCHAR(20), -- Assuming a short string value for CookieSameSite type
    expires TIMESTAMPTZ, -- TimeSinceEpoch can be stored as a timestamp with time zone
    priority VARCHAR(20), -- Assuming a short string value for CookiePriority type, and marking as EXPERIMENTAL
    same_party BOOLEAN, -- EXPERIMENTAL
    source_scheme VARCHAR(20), -- Assuming a short string value for CookieSourceScheme type, and marking as EXPERIMENTAL
    source_port INTEGER, -- Valid values are {-1, [1, 65535]}
    partition_key TEXT, -- EXPERIMENTAL
    partition_key_not_set BOOLEAN -- A boolean to indicate if the partition key is not set, instead of a nullable column
);

ALTER TABLE cookies
ADD COLUMN last_updated TIMESTAMPTZ DEFAULT CURRENT_TIMESTAMP;

-- This ensures that any update to a row will change the last_updated field to the current time
CREATE OR REPLACE FUNCTION update_last_updated_column()
RETURNS TRIGGER AS $$
BEGIN
    NEW.last_updated = CURRENT_TIMESTAMP;
    RETURN NEW;
END;
$$ language 'plpgsql';

CREATE TRIGGER update_cookies_last_updated
BEFORE UPDATE ON cookies
FOR EACH ROW
EXECUTE FUNCTION update_last_updated_column();

Поиск (untested):

SELECT *
FROM cookies
WHERE last_updated >= CURRENT_DATE
AND last_updated < CURRENT_DATE + INTERVAL '1 day';

SELECT *
FROM cookies
WHERE last_updated >= NOW() - INTERVAL '24 hours';

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Динамика нагула профиля по дням: были ли посещения сайтов в течение 24 часов на ежедневной основе в рамках конкретного профиля (чтобы бот выглядел максимально естественно в глазах Яндекс.Поиска)
Количество профилей, которые BAS прокачал за последние 24 часа (чтобы понимать, на сколько стабильно софт прокачивает профили и понимать, какое количество профилей осталось БЕЗ прокачки)

Решается примерно так же, как я написал выше.

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Оповещение: если прекратилась прокачка, в течение 3–5 минут (к примеру приложение на BAS отвалилось или windows сервер завис и т.д., чтобы оперативно подключиться к серверу и исправить проблему)

Способов реализации множество. Но конкретно эта задача выглядит как преждевременная оптимизация, поначалу можно сделать скриптом, что по расписанию скрипт будет дергать статистику из базы и слать на почту уведомление с нужной информацией.

P.S.
Может быть, при больших объемах данных, имеет смысл использовать NoSql. Или, как делают многие, данные хранят в одном месте, потом они переливаются в другое, а там уже строится статистика.

Есть специальные сервисы, что устраивают pipes. И данные могут перелить и webhooks сделать.

tartaria

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

@tartaria И что это вам даст?

Будут хотя-бы какие-то метрики по профилям, чтобы понимать, какие профиля Яндекс помечает как ботов (выводит капчу), а какие нет.

@maxsiman said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

он больше на другое смотрит.

Поделитесь, пожалуйста, своим наблюдением. На что смотрит Яндекс по вашему?

@robengo said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

вопрос в палевности самого баса.

Как именно палится BAS? На сколько я знаю, палятся как-раз НЕ прогреты профиля.
2-3 дня прогрева на мой взгляд маловато.

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

А судя по постам такого человека нет в команде нет.

Верно, такого человека в команде нет, по этому bpoe готовые решения.
Но вы как обычно даете годные рекомендации :) Благодарю!

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

поначалу можно сделать скриптом, что по расписанию скрипт будет дергать статистику из базы и слать на почту уведомление с нужной информацией.

Принято, во внимание! Да, надо упростить по началу, главное, чтобы профиля "нагуливались" регулярно, без простаивания.

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Может быть, при больших объемах данных, имеет смысл использовать NoSql. Или, как делают многие, данные хранят в одном месте, потом они переливаются в другое, а там уже строится статистика.

Большой объем данных это сколько записей? К примеру сейчас активно прокачивается 40.000 профилей. Это большой объем?

? Offline

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Будут хотя-бы какие-то метрики по профилям, чтобы понимать, какие профиля Яндекс помечает как ботов (выводит капчу), а какие нет.

Да ничего у вас не будет если что честно ) Есть способ, но я его озвучивать не стану. Это совсем нет как описано у вас.

Вы можете хоть месяц прокачивать и получить отрицательные результаты.

sergerdn

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Большой объем данных это сколько записей? К примеру сейчас активно прокачивается 40.000 профилей. Это большой объем?

Да понятия не имею, имеет значения не кол-во профилей, а кол-во cookies. Надо ставить тесты, постепенно настраивая сервер баз данных и смотреть логи запросов.

Если делал бы я, вероятно, я бы выбрал NoSql. Формат данных меняться не будет, вероятно, не нужны фишки реляционных баз данных, да и вообще, любое решение NoSql будет сильно быстрее работать.

Надо ставить тесты в любом случае.

И по результатам их уже принимать решение. Обсуждать на форуме технические подробности бессмысленно. Это даст лишь совсем общие представления, не более. В реальном использовании это не поможет.

Ну сделаете что-то, будет подтормаживать, придете на форум спрашивать почему тормозит? И будет простыня конфигов с логами?

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Верно, такого человека в команде нет

А должен быть.

sergerdn

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Есть способ, но я его озвучивать не стану.

Научился у _@_FastSpace?😂

sergerdn

@tartaria

Хотите, чтобы ваш проект был сделан, вам нужно иметь:

человека, который знает что делать
человека, который знает как и может это сделать и будет это делать

Третьего не дано.

? Offline

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Научился у _@_FastSpace?😂

Я тебе больше скажу я даже за хорошую оплату далеко не все стану рассказывать xD

sergerdn

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Я тебе больше скажу я даже за хорошую оплату далеко не все стану рассказывать xD

Да не, я не о том, что есть что-то, что ты не хочешь говорить. Это то как раз мне понятно.

А о том, что ты пишешь что знаешь, но не скажешь. Вот это мне никогда не было понятно, кто бы это не писал. Нафига писать то это?
Я и у _@_FastSpace спрашивал зачем он это делает, но он ни разу не ответил.

FastSpace

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Как именно палится BAS? На сколько я знаю, палятся как-раз НЕ прогреты профиля.

https://community.bablosoft.com/topic/25977/что-может-детектить-в-бас/5?_=1699023956448

? Offline

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

А о том, что ты пишешь что знаешь, но не скажешь. Вот это мне никогда не было понятно, кто бы это не писал. Нафига писать то это?

Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...

FastSpace

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

А о том, что ты пишешь что знаешь, но не скажешь. Вот это мне никогда не было понятно, кто бы это не писал. Нафига писать то это?

Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...

У меня шас строка кода в JS, при выполнении в браузере Doplhin, Zennoposter и BAS это строка возвращает false. В реальном браузере true.
Это не бесполезная фигня

? Offline

@FastSpace said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

У меня шас строка кода в JS, при выполнении в браузере Doplhin, Zennoposter и BAS это строка возвращает false. В реальном браузере true.
Это не бесполезная фигня

Дак я не про это, а про первый пост данной темы

sergerdn

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...

А по моему писал, что знаешь, но не скажешь. Да, написал во втором предложении. Но сути дела не меняет.

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Да ничего у вас не будет если что честно ) Есть способ, но я его озвучивать не стану.

FastSpace

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

@FastSpace said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

У меня шас строка кода в JS, при выполнении в браузере Doplhin, Zennoposter и BAS это строка возвращает false. В реальном браузере true.
Это не бесполезная фигня

Дак я не про это, а про первый пост данной темы

Да это итак понятно было. BAS проходит клоуд после изоляции фреймов когда разработчик починил, отсекать сайты с ним не вижу смысла.

FastSpace

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...

А по моему писал, что знаешь, но не скажешь. Да, написал во втором предложении. Но сути дела не меняет.

Надо смотреть какие запросы уходят в яндекс.
Наверняка @UserTrue нашёл что-то типо &bot=true

? Offline

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

А по моему писал, что знаешь, но не скажешь. Да, написал во втором предложении. Но сути дела не меняет.

Я уже помог тем что сказал, что человек не там ищет. А нравится тебе или нет как я это сказал мне поебать если честно

sergerdn

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Я уже помог тем что сказал, что человек не там ищет. А нравится тебе или нет как я это сказал мне поебать если честно

Я не сказал, что мне не нравится, а спросил зачем ты это написал. Ты только что ответил.

P.S.
Материться невежливо.

sergerdn

@FastSpace said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Надо смотреть какие запросы уходят в яндекс.
Наверняка @UserTrue нашёл что-то типо &bot=true

Не знаю, он не так давно писал, что не работает с Яндексом вообще.
Наверное, с тех пор что-то изменилось. Уже работает.

? Offline

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Не знаю, он не так давно писал, что не работает с Яндексом вообще.
Наверное, с тех пор что-то изменилось. Уже работает.

Я с ним раньше работал много, ПФ накручивал в том числе. Как бы за 5 лет с БАС с чем я только не работал )))

tartaria

Приветствую!
Благодарю всех откликнувшихся, узнал для себя много нового.
Цель анализа профилей, сводилась к минимизации палева ботов со стороны Яндекс.Поиска, чтобы эффективней продвигать сайты через ПФ.
У уже варианты инструментариев для данной цели, которые мне пришли в голову, я описал в первом посте.

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Хотите, чтобы ваш проект был сделан, вам нужно иметь:

человека, который знает что делать
человека, который знает как и может это сделать и будет это делать
Третьего не дано.

Согласен с вами, поэтому и создал топик, чтобы обсудить готовые решения (чтобы профили не палились Яндекс поиском) + предложил: проводить анализ профилей (как проходил нагул, и т.д.), сейчас понимаю, что в первую очередь, надо сделать акцент на грамотной генерации профилей, которые Яндекс не пометить как ботов.
Как это сделать? Пока не знаю, размышления, распишу ниже.

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Вы можете хоть месяц прокачивать и получить отрицательные результаты.

Предполагаю, судя по ответу @FastSpace, что нужно сделать акцент на этапе СОЗДАНИЯ/ГЕНЕРАЦИИ профиля (Отпечатки браузера).
Именно на этом этапе Яндекс.Поиск может определить бот профиля и дальнейшая работа по прокачке и анализу этой прокачки - бесполезная. Верно?

А я делал акцент уже на прокачке самого профиля, без акцента на том, а как вообще был создан профиль, какие отпечатки использовались? (публичные или личные)

@FastSpace прошу дать комментарий, касательно решения от самого BAS: FingerprintSwitcher и особенно PerfectCanvas (видео обзор от BAS).

Я так понимаю, имея сайт с существенной посещаемостью (к примеру 1к уников в сутки, не ботов), пользуясь PerfectCanvas (установив скрипт на сайт), можно будет от пользователей получать уникальные отпечатки и уже их использовать в работе.

Соответственно на этапе создания, профили будут выглядеть уже как реальные пользователи, а не боты.

Bablosoft

Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL)

Как дать сайту понять что он загружается на дестопе а не на мобиле.

Вопрос про Кеширование профилей

Почему BAS при команде [***]>AT>[[CYCLE_INDEX]] кликает на 2ой элемент?

Установка BAS на хостинг

Bas зависает между действиями.