Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL)

tartaria

Всех приветствую!
Если ли сервисы/скрипты/SAAS по анализу профилей (бд PostgreSQL), созданных на BAS для продвижения в Yandex?

profiles bas.png
Пример готового бесплатного решения (но оно уже потеряло актуальность)
Есть платное решение, но дорогое (2500$). Хотел бы найти аналоги.

Что хотел получить от скрипта:

Анализ профилей: сколько дней прошло с момента присвоения куки Яндексом
Динамика нагула профиля по дням: были ли посещения сайтов в течение 24 часов на ежедневной основе в рамках конкретного профиля (чтобы бот выглядел максимально естественно в глазах Яндекс.Поиска)
Количество профилей, которые BAS прокачал за последние 24 часа (чтобы понимать, на сколько стабильно софт прокачивает профили и понимать, какое количество профилей осталось БЕЗ прокачки)
Оповещение: если прекратилась прокачка, в течение 3–5 минут (к примеру приложение на BAS отвалилось или windows сервер завис и т.д., чтобы оперативно подключиться к серверу и исправить проблему)

? Offline

@tartaria И что это вам даст? Вы все равно таким способом не узнаете, что яндекс пометил ваш профиль как бота. Больше похоже что вы ищете софт для прокачки профиля.

maxsiman

Яндекс накручивал несколько лет и понял одно что не обязательно прям качать профиль в идеал он больше на другое смотрит.

robengo

Профиль можно прокачать за 2-3 дня, тут вопрос в палевности самого баса.

sergerdn

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Есть платное решение, но дорогое (2500$). Хотел бы найти аналоги.

Часто бывает, что пилить свой велосипед обходиться дороже, чем купить готовое. Да и не возможно это, если нет нужного человека в команде. А судя по постам такого человека нет в команде нет.

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Что хотел получить от скрипта:

Анализ профилей: сколько дней прошло с момента присвоения куки Яндексом

Postgres может хранить данные как json/jsonb. А значит можно, чтобы получить инфу по cookies, просто использовать один sql запрос(наверное).

Формат cookies: https://chromedevtools.github.io/devtools-protocol/tot/Network/#type-Cookie
Prepare (untested):

CREATE TABLE cookie_storage (
    id SERIAL PRIMARY KEY,
    cookie_data JSONB NOT NULL
);

Поиск (untested):

SELECT cs.*
FROM cookie_storage cs,
jsonb_array_elements(cs.cookies) as cookie
WHERE cookie ->> 'domain' = 'example.com';

Другой вариант - создать таблицу нужного формата и вставлять туда данные, а не полностью объект json. И делать классический sql запрос с поиском по таблице. Формат cookies заранее известен, тоже вполне себе решение.

Sql(untested):

CREATE TABLE cookies (
    id SERIAL PRIMARY KEY,
    name VARCHAR(256),
    value TEXT,
    url TEXT,
    domain VARCHAR(256),
    path VARCHAR(256),
    secure BOOLEAN,
    http_only BOOLEAN,
    same_site VARCHAR(20), -- Assuming a short string value for CookieSameSite type
    expires TIMESTAMPTZ, -- TimeSinceEpoch can be stored as a timestamp with time zone
    priority VARCHAR(20), -- Assuming a short string value for CookiePriority type, and marking as EXPERIMENTAL
    same_party BOOLEAN, -- EXPERIMENTAL
    source_scheme VARCHAR(20), -- Assuming a short string value for CookieSourceScheme type, and marking as EXPERIMENTAL
    source_port INTEGER, -- Valid values are {-1, [1, 65535]}
    partition_key TEXT, -- EXPERIMENTAL
    partition_key_not_set BOOLEAN -- A boolean to indicate if the partition key is not set, instead of a nullable column
);

ALTER TABLE cookies
ADD COLUMN last_updated TIMESTAMPTZ DEFAULT CURRENT_TIMESTAMP;

-- This ensures that any update to a row will change the last_updated field to the current time
CREATE OR REPLACE FUNCTION update_last_updated_column()
RETURNS TRIGGER AS $$
BEGIN
    NEW.last_updated = CURRENT_TIMESTAMP;
    RETURN NEW;
END;
$$ language 'plpgsql';

CREATE TRIGGER update_cookies_last_updated
BEFORE UPDATE ON cookies
FOR EACH ROW
EXECUTE FUNCTION update_last_updated_column();

Поиск (untested):

SELECT *
FROM cookies
WHERE last_updated >= CURRENT_DATE
AND last_updated < CURRENT_DATE + INTERVAL '1 day';

SELECT *
FROM cookies
WHERE last_updated >= NOW() - INTERVAL '24 hours';

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Динамика нагула профиля по дням: были ли посещения сайтов в течение 24 часов на ежедневной основе в рамках конкретного профиля (чтобы бот выглядел максимально естественно в глазах Яндекс.Поиска)
Количество профилей, которые BAS прокачал за последние 24 часа (чтобы понимать, на сколько стабильно софт прокачивает профили и понимать, какое количество профилей осталось БЕЗ прокачки)

Решается примерно так же, как я написал выше.

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Оповещение: если прекратилась прокачка, в течение 3–5 минут (к примеру приложение на BAS отвалилось или windows сервер завис и т.д., чтобы оперативно подключиться к серверу и исправить проблему)

Способов реализации множество. Но конкретно эта задача выглядит как преждевременная оптимизация, поначалу можно сделать скриптом, что по расписанию скрипт будет дергать статистику из базы и слать на почту уведомление с нужной информацией.

P.S.
Может быть, при больших объемах данных, имеет смысл использовать NoSql. Или, как делают многие, данные хранят в одном месте, потом они переливаются в другое, а там уже строится статистика.

Есть специальные сервисы, что устраивают pipes. И данные могут перелить и webhooks сделать.

tartaria

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

@tartaria И что это вам даст?

Будут хотя-бы какие-то метрики по профилям, чтобы понимать, какие профиля Яндекс помечает как ботов (выводит капчу), а какие нет.

@maxsiman said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

он больше на другое смотрит.

Поделитесь, пожалуйста, своим наблюдением. На что смотрит Яндекс по вашему?

@robengo said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

вопрос в палевности самого баса.

Как именно палится BAS? На сколько я знаю, палятся как-раз НЕ прогреты профиля.
2-3 дня прогрева на мой взгляд маловато.

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

А судя по постам такого человека нет в команде нет.

Верно, такого человека в команде нет, по этому bpoe готовые решения.
Но вы как обычно даете годные рекомендации :) Благодарю!

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

поначалу можно сделать скриптом, что по расписанию скрипт будет дергать статистику из базы и слать на почту уведомление с нужной информацией.

Принято, во внимание! Да, надо упростить по началу, главное, чтобы профиля "нагуливались" регулярно, без простаивания.

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Может быть, при больших объемах данных, имеет смысл использовать NoSql. Или, как делают многие, данные хранят в одном месте, потом они переливаются в другое, а там уже строится статистика.

Большой объем данных это сколько записей? К примеру сейчас активно прокачивается 40.000 профилей. Это большой объем?

? Offline

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Будут хотя-бы какие-то метрики по профилям, чтобы понимать, какие профиля Яндекс помечает как ботов (выводит капчу), а какие нет.

Да ничего у вас не будет если что честно ) Есть способ, но я его озвучивать не стану. Это совсем нет как описано у вас.

Вы можете хоть месяц прокачивать и получить отрицательные результаты.

sergerdn

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Большой объем данных это сколько записей? К примеру сейчас активно прокачивается 40.000 профилей. Это большой объем?

Да понятия не имею, имеет значения не кол-во профилей, а кол-во cookies. Надо ставить тесты, постепенно настраивая сервер баз данных и смотреть логи запросов.

Если делал бы я, вероятно, я бы выбрал NoSql. Формат данных меняться не будет, вероятно, не нужны фишки реляционных баз данных, да и вообще, любое решение NoSql будет сильно быстрее работать.

Надо ставить тесты в любом случае.

И по результатам их уже принимать решение. Обсуждать на форуме технические подробности бессмысленно. Это даст лишь совсем общие представления, не более. В реальном использовании это не поможет.

Ну сделаете что-то, будет подтормаживать, придете на форум спрашивать почему тормозит? И будет простыня конфигов с логами?

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Верно, такого человека в команде нет

А должен быть.

sergerdn

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Есть способ, но я его озвучивать не стану.

Научился у _@_FastSpace?😂

sergerdn

@tartaria

Хотите, чтобы ваш проект был сделан, вам нужно иметь:

человека, который знает что делать
человека, который знает как и может это сделать и будет это делать

Третьего не дано.

? Offline

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Научился у _@_FastSpace?😂

Я тебе больше скажу я даже за хорошую оплату далеко не все стану рассказывать xD

sergerdn

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Я тебе больше скажу я даже за хорошую оплату далеко не все стану рассказывать xD

Да не, я не о том, что есть что-то, что ты не хочешь говорить. Это то как раз мне понятно.

А о том, что ты пишешь что знаешь, но не скажешь. Вот это мне никогда не было понятно, кто бы это не писал. Нафига писать то это?
Я и у _@_FastSpace спрашивал зачем он это делает, но он ни разу не ответил.

FastSpace

@tartaria said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Как именно палится BAS? На сколько я знаю, палятся как-раз НЕ прогреты профиля.

https://community.bablosoft.com/topic/25977/что-может-детектить-в-бас/5?_=1699023956448

? Offline

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

А о том, что ты пишешь что знаешь, но не скажешь. Вот это мне никогда не было понятно, кто бы это не писал. Нафига писать то это?

Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...

FastSpace

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

А о том, что ты пишешь что знаешь, но не скажешь. Вот это мне никогда не было понятно, кто бы это не писал. Нафига писать то это?

Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...

У меня шас строка кода в JS, при выполнении в браузере Doplhin, Zennoposter и BAS это строка возвращает false. В реальном браузере true.
Это не бесполезная фигня

? Offline

@FastSpace said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

У меня шас строка кода в JS, при выполнении в браузере Doplhin, Zennoposter и BAS это строка возвращает false. В реальном браузере true.
Это не бесполезная фигня

Дак я не про это, а про первый пост данной темы

sergerdn

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...

А по моему писал, что знаешь, но не скажешь. Да, написал во втором предложении. Но сути дела не меняет.

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Да ничего у вас не будет если что честно ) Есть способ, но я его озвучивать не стану.

FastSpace

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

@FastSpace said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

У меня шас строка кода в JS, при выполнении в браузере Doplhin, Zennoposter и BAS это строка возвращает false. В реальном браузере true.
Это не бесполезная фигня

Дак я не про это, а про первый пост данной темы

Да это итак понятно было. BAS проходит клоуд после изоляции фреймов когда разработчик починил, отсекать сайты с ним не вижу смысла.

FastSpace

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

@UserTrue said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

Я не так написал, я в первую очередь написал, что то что он хочет проверять это бесполезная фигня, но есть другой способ...

А по моему писал, что знаешь, но не скажешь. Да, написал во втором предложении. Но сути дела не меняет.

Надо смотреть какие запросы уходят в яндекс.
Наверняка @UserTrue нашёл что-то типо &bot=true

? Offline

@sergerdn said in Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL):

А по моему писал, что знаешь, но не скажешь. Да, написал во втором предложении. Но сути дела не меняет.

Я уже помог тем что сказал, что человек не там ищет. А нравится тебе или нет как я это сказал мне поебать если честно

Bablosoft

Анализ профилей для ПФ Yandex (BAS, бд на PostgreSQL)

Зависает BAS

BAS не видит элементы на странице

Не показывает селекторы на странице(красные блоки при наведении на селектор)

BAS и процессор

как нажать на клавишу не нажимая на html страницу