Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL)

[robengo]

Профиль можно прокачать за 2-3 дня, тут вопрос в палевности самого баса.

[sergerdn]

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Есть платное решение, но дорогое (2500$). Хотел бы найти аналоги.

Часто бывает, что пилить свой велосипед обходиться дороже, чем купить готовое. Да и не возможно это, если нет нужного человека в команде. А судя по постам такого человека нет в команде нет.

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Что хотел получить от скрипта:

Анализ профилей: сколько дней прошло с момента присвоения куки Яндексом

Postgres может хранить данные как json/jsonb. А значит можно, чтобы получить инфу по cookies, просто использовать один sql запрос(наверное).

• Формат cookies: https://chromedevtools.github.io/devtools-protocol/tot/Network/#type-Cookie
• Prepare (untested):

CREATE TABLE cookie_storage (
    id SERIAL PRIMARY KEY,
    cookie_data JSONB NOT NULL
);

• Поиск (untested):

SELECT cs.*
FROM cookie_storage cs,
jsonb_array_elements(cs.cookies) as cookie
WHERE cookie ->> 'domain' = 'example.com';

Другой вариант - создать таблицу нужного формата и вставлять туда данные, а не полностью объект json. И делать классический sql запрос с поиском по таблице. Формат cookies заранее известен, тоже вполне себе решение.

• Sql(untested):

CREATE TABLE cookies (
    id SERIAL PRIMARY KEY,
    name VARCHAR(256),
    value TEXT,
    url TEXT,
    domain VARCHAR(256),
    path VARCHAR(256),
    secure BOOLEAN,
    http_only BOOLEAN,
    same_site VARCHAR(20), -- Assuming a short string value for CookieSameSite type
    expires TIMESTAMPTZ, -- TimeSinceEpoch can be stored as a timestamp with time zone
    priority VARCHAR(20), -- Assuming a short string value for CookiePriority type, and marking as EXPERIMENTAL
    same_party BOOLEAN, -- EXPERIMENTAL
    source_scheme VARCHAR(20), -- Assuming a short string value for CookieSourceScheme type, and marking as EXPERIMENTAL
    source_port INTEGER, -- Valid values are {-1, [1, 65535]}
    partition_key TEXT, -- EXPERIMENTAL
    partition_key_not_set BOOLEAN -- A boolean to indicate if the partition key is not set, instead of a nullable column
);

ALTER TABLE cookies
ADD COLUMN last_updated TIMESTAMPTZ DEFAULT CURRENT_TIMESTAMP;

-- This ensures that any update to a row will change the last_updated field to the current time
CREATE OR REPLACE FUNCTION update_last_updated_column()
RETURNS TRIGGER AS $$
BEGIN
    NEW.last_updated = CURRENT_TIMESTAMP;
    RETURN NEW;
END;
$$ language 'plpgsql';

CREATE TRIGGER update_cookies_last_updated
BEFORE UPDATE ON cookies
FOR EACH ROW
EXECUTE FUNCTION update_last_updated_column();

• Поиск (untested):

SELECT *
FROM cookies
WHERE last_updated >= CURRENT_DATE
AND last_updated < CURRENT_DATE + INTERVAL '1 day';

SELECT *
FROM cookies
WHERE last_updated >= NOW() - INTERVAL '24 hours';

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Динамика нагула профиля по дням: были ли посещения сайтов в течение 24 часов на ежедневной основе в рамках конкретного профиля (чтобы бот выглядел максимально естественно в глазах Яндекс.Поиска)
Количество профилей, которые BAS прокачал за последние 24 часа (чтобы понимать, на сколько стабильно софт прокачивает профили и понимать, какое количество профилей осталось БЕЗ прокачки)

Решается примерно так же, как я написал выше.

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Оповещение: если прекратилась прокачка, в течение 3–5 минут (к примеру приложение на BAS отвалилось или windows сервер завис и т.д., чтобы оперативно подключиться к серверу и исправить проблему)

Способов реализации множество. Но конкретно эта задача выглядит как преждевременная оптимизация, поначалу можно сделать скриптом, что по расписанию скрипт будет дергать статистику из базы и слать на почту уведомление с нужной информацией.

P.S.
Может быть, при больших объемах данных, имеет смысл использовать NoSql. Или, как делают многие, данные хранят в одном месте, потом они переливаются в другое, а там уже строится статистика.

Есть специальные сервисы, что устраивают pipes. И данные могут перелить и webhooks сделать.

[tartaria]

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

@tartaria И что это вам даст?

Будут хотя-бы какие-то метрики по профилям, чтобы понимать, какие профиля Яндекс помечает как ботов (выводит капчу), а какие нет.

---

@maxsiman said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

он больше на другое смотрит.

Поделитесь, пожалуйста, своим наблюдением. На что смотрит Яндекс по вашему?

---

@robengo said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

вопрос в палевности самого баса.

Как именно палится BAS? На сколько я знаю, палятся как-раз НЕ прогреты профиля.
2-3 дня прогрева на мой взгляд маловато.

---

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

А судя по постам такого человека нет в команде нет.

Верно, такого человека в команде нет, по этому bpoe готовые решения.
Но вы как обычно даете годные рекомендации :) Благодарю!

---

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

поначалу можно сделать скриптом, что по расписанию скрипт будет дергать статистику из базы и слать на почту уведомление с нужной информацией.

Принято, во внимание! Да, надо упростить по началу, главное, чтобы профиля "нагуливались" регулярно, без простаивания.

---

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Может быть, при больших объемах данных, имеет смысл использовать NoSql. Или, как делают многие, данные хранят в одном месте, потом они переливаются в другое, а там уже строится статистика.

Большой объем данных это сколько записей? К примеру сейчас активно прокачивается 40.000 профилей. Это большой объем?

[A Former User]

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Будут хотя-бы какие-то метрики по профилям, чтобы понимать, какие профиля Яндекс помечает как ботов (выводит капчу), а какие нет.

Да ничего у вас не будет если что честно ) Есть способ, но я его озвучивать не стану. Это совсем нет как описано у вас.

Вы можете хоть месяц прокачивать и получить отрицательные результаты.

[sergerdn]

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Большой объем данных это сколько записей? К примеру сейчас активно прокачивается 40.000 профилей. Это большой объем?

Да понятия не имею, имеет значения не кол-во профилей, а кол-во cookies. Надо ставить тесты, постепенно настраивая сервер баз данных и смотреть логи запросов.

Если делал бы я, вероятно, я бы выбрал NoSql. Формат данных меняться не будет, вероятно, не нужны фишки реляционных баз данных, да и вообще, любое решение NoSql будет сильно быстрее работать.

Надо ставить тесты в любом случае.

И по результатам их уже принимать решение. Обсуждать на форуме технические подробности бессмысленно. Это даст лишь совсем общие представления, не более. В реальном использовании это не поможет.

Ну сделаете что-то, будет подтормаживать, придете на форум спрашивать почему тормозит? И будет простыня конфигов с логами?

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Верно, такого человека в команде нет

А должен быть.

[sergerdn]

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Есть способ, но я его озвучивать не стану.

Научился у _@_FastSpace?😂

[sergerdn]

@tartaria

Хотите, чтобы ваш проект был сделан, вам нужно иметь:

• человека, который знает что делать
• человека, который знает как и может это сделать и будет это делать

Третьего не дано.

[A Former User]

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Научился у _@_FastSpace?😂

Я тебе больше скажу я даже за хорошую оплату далеко не все стану рассказывать xD

[sergerdn]

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Я тебе больше скажу я даже за хорошую оплату далеко не все стану рассказывать xD

Да не, я не о том, что есть что-то, что ты не хочешь говорить. Это то как раз мне понятно.

А о том, что ты пишешь что знаешь, но не скажешь. Вот это мне никогда не было понятно, кто бы это не писал. Нафига писать то это?
Я и у _@_FastSpace спрашивал зачем он это делает, но он ни разу не ответил.

[FastSpace]

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Как именно палится BAS? На сколько я знаю, палятся как-раз НЕ прогреты профиля.

https://community.bablosoft.com/topic/25977/что-может-детектить-в-бас/5?_=1699023956448

[A Former User]

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

А о том, что ты пишешь что знаешь, но не скажешь. Вот это мне никогда не было понятно, кто бы это не писал. Нафига писать то это?

Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...

[FastSpace]

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

А о том, что ты пишешь что знаешь, но не скажешь. Вот это мне никогда не было понятно, кто бы это не писал. Нафига писать то это?

Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...

У меня шас строка кода в JS, при выполнении в браузере Doplhin, Zennoposter и BAS это строка возвращает false. В реальном браузере true.
Это не бесполезная фигня

[A Former User]

@FastSpace said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

У меня шас строка кода в JS, при выполнении в браузере Doplhin, Zennoposter и BAS это строка возвращает false. В реальном браузере true.
Это не бесполезная фигня

Дак я не про это, а про первый пост данной темы

[sergerdn]

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...

А по моему писал, что знаешь, но не скажешь. Да, написал во втором предложении. Но сути дела не меняет.

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Да ничего у вас не будет если что честно ) Есть способ, но я его озвучивать не стану.

[FastSpace]

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

@FastSpace said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

У меня шас строка кода в JS, при выполнении в браузере Doplhin, Zennoposter и BAS это строка возвращает false. В реальном браузере true.
Это не бесполезная фигня

Дак я не про это, а про первый пост данной темы

Да это итак понятно было. BAS проходит клоуд после изоляции фреймов когда разработчик починил, отсекать сайты с ним не вижу смысла.

[FastSpace]

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...

А по моему писал, что знаешь, но не скажешь. Да, написал во втором предложении. Но сути дела не меняет.

Надо смотреть какие запросы уходят в яндекс.
Наверняка @UserTrue нашёл что-то типо &bot=true

[A Former User]

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

А по моему писал, что знаешь, но не скажешь. Да, написал во втором предложении. Но сути дела не меняет.

Я уже помог тем что сказал, что человек не там ищет. А нравится тебе или нет как я это сказал мне поебать если честно

[sergerdn]

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Я уже помог тем что сказал, что человек не там ищет. А нравится тебе или нет как я это сказал мне поебать если честно

Я не сказал, что мне не нравится, а спросил зачем ты это написал. Ты только что ответил.

P.S.
Материться невежливо.

[sergerdn]

@FastSpace said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Надо смотреть какие запросы уходят в яндекс.
Наверняка @UserTrue нашёл что-то типо &bot=true

Не знаю, он не так давно писал, что не работает с Яндексом вообще.
Наверное, с тех пор что-то изменилось. Уже работает.

[A Former User]

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Не знаю, он не так давно писал, что не работает с Яндексом вообще.
Наверное, с тех пор что-то изменилось. Уже работает.

Я с ним раньше работал много, ПФ накручивал в том числе. Как бы за 5 лет с БАС с чем я только не работал )))