@tet-vivi said in Как уменьшить вес папки профилей:
то есть есть должен иметься ресурс cpu(раз способен тяжелые операции тянуть) для сжатия данных на диске.
Современные CPU применяют алгоритмы сжатия не напрягаясь сильно.
Прогрев профилей
-
@agility said in Прогрев профилей:
А как метрики получают куки других сайтов? Яндексу/Гуглу доступны куки только сайта yandex.ru/google.ru, они никак не узнают про другие куки браузера из соображений безопасности – так сделаны браузеры.
Метрика делает запрос на свой домен и куки устанавливаются для ее домена, соответственно, когда с какого-то сайт скрипт метрики отсылает информацию о посетителе, то используются эти куки
-
@agility Если там нет нужных метрик(помимо гугла и яши бывают и другие метрики), то думаю его нет.
-
@agility said in Прогрев профилей:
@usertrue Именно, в этом и вопрос. Я от нескольких опытных людей слышал, что стоит профилировать на 1-ом этапе без метрик. Но почему я не смог узнать.
Еще надо бабу с пустыми ведрами в полнолуние дождаться. Не спрашивай почему. Так надо!
-
@usertrue said in Прогрев профилей:
@agility said in Прогрев профилей:
@usertrue Именно, в этом и вопрос. Я от нескольких опытных людей слышал, что стоит профилировать на 1-ом этапе без метрик. Но почему я не смог узнать.
Еще надо бабу с пустыми ведрами в полнолуние дождаться. Не спрашивай почему. Так надо!
Дать глупый совет и отбить конкурентов - так надо? ))
Если я правильно понял, то нет смысла бегать по сайтам где нет метрик. Куки важны только для почты, перед тем как где-то регаться надо обязательно быть авторизованным в нее и никаких IMAP протоколов.P.S в моем шаблоне 25 авторегов. Бот регаеться где только можно (на торентах сайтах, на порно сайтах, сайты знакомств и т.д.)
-
@agility said in Прогрев профилей:
Делайте прогрев этапами.
На первом этапе создаете новые профили и гуляете их по сайтам с яндекс метрикой или google analytics (зависит на какую поисковую систему будете ориентироваться).
Лучше брать выборки из тысячи сайтов для максимального разнообразия, профилировать по 1-5 сайтам прямыми заходами по 1-3 страниц просмотра.
Дальше второй этап делать нагуливание через поисковые системы со скликом на случайные сайты.Для больше естественности:
- максимально зарандомить технические характеристики ботов (UA, отпечатки) и перемещения по страницам
- добавить прямые заходы на сайты с referrer/эмуляцией социальных сетей
- делать % возврата на уже посещаемые ранее сайты
- искать по высокочастотным запросам
- прогревать не менее недели, повторять этапы
- прогревать по минимум двум поисковым системам
- прогревать ботов по тематикам (если целевой сайт о недвижимости, то преимущественно использовать фразы по этой теме)
- особые фишки ботов (регистрация в соц. сетях, яндекс/google почте, заполнение форм, выделение отдельных фрагментов текстов (телефоны, email), просмотры видео и ...)
Дополнение:
- Обязательно делать рандомные задержки в действие спать, рандомное у всех профилей значение ввода текста (закрепить скорость за профилем в базе данных). Там вроде дефолт 100, я сделал от 100 до 250. Плюс периодически стоить юзать действие "Эмуляция бездействия"
- Греть профиль относительно часового пояса прокси. У меня мобильные прокси из Москвы и само будет сильно будет подозрительно если пачка из одной подсети будет греться по ночам слишком часто.
- Греть профиль строго рандомное время (от 1 минуты до 15 минут). Изредка увеличиваю сессии до 30 минут - часу. Повторять это рандомное количество раз в течении дня на протяжении недели.
- Использовать только свежий User Agent и обновлять его в те моменты когда выходит новая версия браузера (у меня перед началом потока на Post/Get парсить версию браузеров и если она обновилась, то применяет новый агент). У баса хронический недостаток с этим, у зенки есть ползунок где можно выбирать всегда свежие.
- Использовать только резидетные или мобильные прокси и в ни в коем случае не менять их во время работы потока. По моим тестам как бы четкая твоя история не была бы, то серверное говно всю равно даст тебе об этом знать.
- Обязательно юзать много вкладок. Не рекомендую все время работать в одной вкладке
- В поисковике стоить изредка заюзать теги "Купить xxx". От этого тебе будут давать нужную рекламу яндекс директ и гугл адвордс. Желательно даже изредка посещать такие сайты и просматривать товары (фото, Коментарии и т.д.) Например у меня бот ищет себе что-нибудь по "DNS технопоинт"
P.S про фрагменты текста спасибо, полезно :D
-
@fastspace said in Прогрев профилей:
Дать глупый совет и отбить конкурентов - так надо? ))
Это не совет, а сарказм.
-
This post is deleted!
-
@agility said in Прогрев профилей:
@fastspace said in Прогрев профилей:
Использовать только свежий User Agent и обновлять его в те моменты когда выходит новая версия браузера (у меня перед началом потока на Post/Get парсить версию браузеров и если она обновилась, то применяет новый агент). У баса хронический недостаток с этим, у зенки есть ползунок где можно выбирать всегда свежие.
Я правильно понял, что ты собрал базу fingerprint'ов по тегу Desktop, а потом просто меняешь User Agent на свой через "Сменить заголовок"?
Через ZP собираешь базу UA?
Проверяешь свежую версию UA через whatismybrowser.com?У меня ТДС с трафиком на дейтинг. Оттуда собираю юзер агенты новые, когда вышла новая версия браузера у меня в базу mycql спарсит этот новый юзер агент и я его 1 раз применю через то самое действие.
Да и собирать их не сложно даже руками. Всего 4 браузера юзаю (Хром, опера, Edge, Firefox) -
@agility said in Прогрев профилей:
Ты делаешь просто действие сон, или какие-нибудь дополнительные действия типа убрать мышь с экрана?
А что за действие такое "убрать мышь с экрана"? Не делал такого, но читал как-то что при закрытии вкладки можно определить координаты мыши и если они не будут 0x0... Хз как метрика это чекает.
Сон делаю, но тоже изредка.
А про сессию я имел ввиду, что бот серфить по сайтам может целых пол часа (с небольшими перерывами). В общем полный рандом. -
@fastspace said in Прогрев профилей:
Использовать только резидетные или мобильные прокси и в ни в коем случае не менять их во время работы потока
Если можно поподробней относительно настройки мобильных прокси и взаимодействия их с данным ботом. Как настраиваются моб. прокси? Со сменой по запросу? Со сменой по таймауту?
И ещё вопрос. Смогу ли я, используя данного бота, перекрыть свои потребности, не покупаю программу FingerprintSwitcher? Иными словами, если мне необходимо, в ручном режиме, заходить на определённые сайты, вести там переписку с тех. поддержкой и регистрировать на этих сайтах по несколько аккаунтов, используя разные отпечатки, с возможностью их сохранения для повторного посещения этих сайтов используя те же параметры, что и при первом заходе. Возможно ли это реализовать с использованием данного бота или мне необходимо, отдельно, приобретать программу FingerprintSwitcher?
Спасибо! -
@deesin said in Прогрев профилей:
И ещё вопрос. Смогу ли я, используя данного бота, перекрыть свои потребности, не покупаю программу FingerprintSwitcher? Иными словами, если мне необходимо, в ручном режиме, заходить на определённые сайты, вести там переписку с тех. поддержкой и регистрировать на этих сайтах по несколько аккаунтов, используя разные отпечатки, с возможностью их сохранения для повторного посещения этих сайтов используя те же параметры, что и при первом заходе. Возможно ли это реализовать с использованием данного бота или мне необходимо, отдельно, приобретать программу FingerprintSwitcher?
Спасибо!Конечно он нужен, только это не программа, а дополнение к басу.
-
@deesin said in Прогрев профилей:
@fastspace said in Прогрев профилей:
Использовать только резидетные или мобильные прокси и в ни в коем случае не менять их во время работы потока
Если можно поподробней относительно настройки мобильных прокси и взаимодействия их с данным ботом. Как настраиваются моб. прокси? Со сменой по запросу? Со сменой по таймауту?
Нужно настроить WebRtc и PassiveOS FingerPrint правильно. Эмулировать стоит как ПК + модем, а не мобильное устройство. Ну и конечно прокси нужны со сменой по запросу, это намного удобнее и без всяких там дополнительных чеков. Можно конечно использовать и по таймату (не менее 10 минут), но нужно много чеков на то сколько времени осталось до конца таймаута, плюс он не всегда будет 10 минут, может прозойти обрыв на 5 минутах и таймер пойдет заново. Нужно c WebRtc решить проблему будет.
-
@fastspace его надо отключить? Или чтоб показывало IP прокси как твой реальный IP?
-
@potya said in Прогрев профилей:
@fastspace его надо отключить? Или чтоб показывало IP прокси как твой реальный IP?
Слишком нуповской вопрос. Потренируйся на басе еще годик другой.
