Всем еще раз привет. Вопрос решился. Помог мне с этим Виктор. Короче говоря, каким то образом у винды которая ставиться на китайскую материнку есть ограничения в плане колличества загружаемых строк в бас. То есть. У меня были ключевые слова для поиска. Их был 1 млн. В итоге получается урезал до 150к Софт работает как часы. Может кому то пригодится.
Получается что китайские материнки имеею или слабую обработку или кэш или еще что то. Вообщем я не силен в этом. Но что то не так. Пока и так работает меня полностью Устраивает. Теперь можно крутить бас в 500 + потоков. Всем спасибо. Тему можно закрывать.
САЙТ жестко палит BAS. Реальный юзер агент движка
-
По поводу akamai. Не вникал особенно что там. Читаю форумы нескольких конкурентов и все в голосину пишут, что не могут обойти его.
Типо палиться поведение бота, так вот тут тоже работы многовато куда улучшать. Небольшую часть описал тут
Все это у меня давно закостыляло конечно и там не описано все. Если саппорт возьметься менять, готов написать все.Ладно я это опять в воздух сказал. Ждем движок :D
-
@FastSpace said in САЙТ жестко палит BAS. Реальный юзер агент движка:
@Vaip Ну фильтрацию только самому ручками ) Не думаю что измениться что-нибудь здесь.
А какой смысл этим заморачиваться если "течет" как указано в Вашем стартпосте ?
-
@support said in САЙТ жестко палит BAS. Реальный юзер агент движка:
Здесь код помещенный в serviceWorker получает заголовок до того, как запрос будет отправлен на сервер. Тогда как BAS старой версии заменял заголовки перед отправкой.
Простите я не понял - откатиться на старую версию тоже решение?
Если да, то на какую? -
@kuzkuz said in САЙТ жестко палит BAS. Реальный юзер агент движка:
@support said in САЙТ жестко палит BAS. Реальный юзер агент движка:
Здесь код помещенный в serviceWorker получает заголовок до того, как запрос будет отправлен на сервер. Тогда как BAS старой версии заменял заголовки перед отправкой.
Простите я не понял - откатиться на старую версию тоже решение?
Если да, то на какую?Ты уже на старой.
-
@FastSpace said in САЙТ жестко палит BAS. Реальный юзер агент движка:
@kuzkuz said in САЙТ жестко палит BAS. Реальный юзер агент движка:
@support said in САЙТ жестко палит BAS. Реальный юзер агент движка:
Здесь код помещенный в serviceWorker получает заголовок до того, как запрос будет отправлен на сервер. Тогда как BAS старой версии заменял заголовки перед отправкой.
Простите я не понял - откатиться на старую версию тоже решение?
Если да, то на какую?Ты уже на старой.
по твоему @support 20 дней назад говорил о версии бас на которой я сейчас в прошедшем времени? ))
-
@kuzkuz said in САЙТ жестко палит BAS. Реальный юзер агент движка:
@FastSpace said in САЙТ жестко палит BAS. Реальный юзер агент движка:
@kuzkuz said in САЙТ жестко палит BAS. Реальный юзер агент движка:
@support said in САЙТ жестко палит BAS. Реальный юзер агент движка:
Здесь код помещенный в serviceWorker получает заголовок до того, как запрос будет отправлен на сервер. Тогда как BAS старой версии заменял заголовки перед отправкой.
Простите я не понял - откатиться на старую версию тоже решение?
Если да, то на какую?Ты уже на старой.
по твоему @support 20 дней назад говорил о версии бас на которой я сейчас в прошедшем времени? ))
Он говорил о текущей версии, она уже старая, читай ветку на подходе с новым движком.
-
@support Данный тест проводил в зенке на движке хрома. Попробовал выбрать движок firefox 52x64 и там иная картина, а именно все методы отобразили корректный useragent. А значение метода UA Header было: "null". Как я понял, зенка просто не отдала значение для этого метода.
Скрин прилагаю.
-
@A-Rezn1k казалось бы причем тут зенно, но бас выдал тот же результат
-
@artihorror у меня нет, отпечаток кривой видать был
-
@A-Rezn1k проверила перед прошлым постом.
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36увидела ответ, усомнилась, проверила еще раз на другом отпечатке
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.72 Safari/537.36 Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36палево все таки есть
-
Там через этот воркер можно много чего вытянуть реального кроме ua.
-
@artihorror said in САЙТ жестко палит BAS. Реальный юзер агент движка:
@A-Rezn1k казалось бы причем тут зенно, но бас выдал тот же результат
Что серьезно, а первое сообщение темы о чем.
-
@FastSpace said in САЙТ жестко палит BAS. Реальный юзер агент движка:
Там через этот воркер можно много чего вытянуть реального кроме ua.
Прикол в том что все как то работали (не зная этот факт) и всё работало ;)
а как вдруг узнали о протечке - перестало работать -
@kuzkuz said in САЙТ жестко палит BAS. Реальный юзер агент движка:
@FastSpace said in САЙТ жестко палит BAS. Реальный юзер агент движка:
Там через этот воркер можно много чего вытянуть реального кроме ua.
Прикол в том что все как то работали (не зная этот факт) и всё работало ;)
а как вдруг узнали о протечке - перестало работатьСкорее всего он создавался не для целей, чтобы спалить ботов. Просто на ютубе теперь доступно приложение в декстоп версии, можно напрямую без запуска браузера запустить ютуб.
Вот тут можно почитать, что за воркер этот такое и что может палить
https://developer.mozilla.org/ru/docs/Web/API/Web_Workers_API.Нас собственно интересует ServiceWorker (как выше писал саппорт речь о нем)
https://developer.mozilla.org/ru/docs/Web/API/ServiceWorkerУ этого сервис воркер есть значение ServiceWorkerGlobalScope
https://developer.mozilla.org/en-US/docs/Web/API/ServiceWorkerGlobalScopeУ последнего есть объект навигатор и список, что он может получить:
https://developer.mozilla.org/en-US/docs/Web/API/WorkerNavigatorТут:
Юзер агент, Язык, количество логических потоков процессора, список разрешений и т.д. Но это походу уже все сделано, а чето мож и не сделано.
Последнюю страничку нужно посматривать переодически, там может че-нить новое появиться.
