Нагрузка на процессор забивается. Работа с Яндекс.

[sergerdn]

@UserTrue said in Нагрузка на процессор забивается. Работа с Яндекс.:

@sergerdn said in Нагрузка на процессор забивается. Работа с Яндекс.:

Я один еще вчера это сделал? 😄

Я яндекс не дрочу просто ) Только сейчас эту тему увидел

Я тоже не работаю с ним. Я даже не знаю люди из этого топика просто собирают данные с выдачи или еще что-то делают. Если просто собирают данные из SERP, то, в принципе, сбор данных решаем в текущей ситуации, я думаю. Вопрос только в бюджете.

[FastSpace]

@sergerdn said in Нагрузка на процессор забивается. Работа с Яндекс.:

@DuckDuck said in Нагрузка на процессор забивается. Работа с Яндекс.:

Вот то что там тупанули разработчики и это баг - охотно в это верю :)

Я, когда наткнул на скрипт "майнинга битков" тоже допустил, что это баг, потому что этот скрипт задевал и обычных пользователей. Старые Маки страдали, например.

Время же показало, что, вероятно, это было осознанное решение. Так как "баг" так и не починили.

Это проблема легко решается, получаешь через API метод колличество логических потоков процессора и если их мало не создаешь накаких нагрузок. Хотя у маков вроде сафари браузер этот метод вроде не поддерживает, ну тут тогда делаешь чек на сафари и этим тоже не создаешь.

[sergerdn]

@FastSpace said in Нагрузка на процессор забивается. Работа с Яндекс.:

Это проблема легко решается, получаешься через API метод колличество логических потоков процессора и если их мало не создаешь накаких нагрузок. Хотя у маков вроде сафари браузер этот метод вроде не поддерживает, ну тут тогда делаешь чек на сафари и этим тоже не создаешь.

Зачем ты мне это пишешь? Чтобы я переслал разработчикам антифрода? Антифрод не мой, код им писал не я.

[DuckDuck]

@sergerdn said in Нагрузка на процессор забивается. Работа с Яндекс.:

Я, когда наткнул на скрипт "майнинга битков"

А почему в кавычках ? ну то есть вы точно не знаете что это было - но по ощущениям ...

А дальше вы пишите:

Так как "баг" так и не починили.

Ну то есть вы так и не поняли баг это был, майнинг битка, или возможно ЦЕРН обсчитывал задачи для Адронного Колайдера ?

Ну это, ну комон ...

[FastSpace]

@sergerdn said in Нагрузка на процессор забивается. Работа с Яндекс.:

@FastSpace said in Нагрузка на процессор забивается. Работа с Яндекс.:

Это проблема легко решается, получаешься через API метод колличество логических потоков процессора и если их мало не создаешь накаких нагрузок. Хотя у маков вроде сафари браузер этот метод вроде не поддерживает, ну тут тогда делаешь чек на сафари и этим тоже не создаешь.

Зачем ты мне это пишешь? Чтобы я переслал разработчикам антифрода? Антифрод не мой, код им писал не я.

А можно не быковать и не наезжать? Я бес понятие кто и чего там разработчик.

[sergerdn]

@DuckDuck said in Нагрузка на процессор забивается. Работа с Яндекс.:

А почему в кавычках ?

Потому что в скрипте используется похожий алгоритм, но битки, там, конечно не майнятся.

@DuckDuck said in Нагрузка на процессор забивается. Работа с Яндекс.:

Ну то есть вы так и не поняли баг это был

Понятия не имею есть ли у них баг или нет. Потому что скрипты задевают и обычных пользователей. Как я писал выше, например, пользователей на старых Маках. И я понятия не имею сделано это осознанно или нет.

[DuckDuck]

@sergerdn а логика задевать пользователей на старых маках, а других не задевать ? Какой профит ? Не кажется что - это больше все таки похоже на баг ?

[sergerdn]

@FastSpace said in Нагрузка на процессор забивается. Работа с Яндекс.:

А можно не быковать и не наезжать? Я бес понятие кто и чего там разработчик.

Даже в мыслях не было ни на кого наезжать и тем более в грубой форме.

А задал конкретный вопрос, зачем мне писать как пофиксить сторонний антифрод.

[sergerdn]

@DuckDuck said in Нагрузка на процессор забивается. Работа с Яндекс.:

@sergerdn а логика задевать пользователей на старых маках, а других не задевать

Это побочных эффект старых компьютеров, плохо "майнят битки".

@DuckDuck said in Нагрузка на процессор забивается. Работа с Яндекс.:

Не кажется что - это больше все таки похоже на баг ?

Мне все равно, на самом деле. Обходной путь уже давно внедрен.

[sergerdn]

Набросал простой скрипт, который в цикле на новом профиле(без старых кукисов Яндекса), открывает урл Яндекса с немного другим ключевым словом в запросе. Я поленился делать список нормальных ключевых слов, а добавляю в конец случайное значение.

Каждый поток - свой выходной ip из совсем разных подсетей. Никак не проверял, что выдал мне поставщик прокси. Прокси резидентские, GEO - Москва и область.

Отпечатки случайные, какие выдал сервис BAS, никак не фильтровались.

Прокси устанавливались в начале старта каждого потока и в процессе работы с моей стороны не менялись, цикл посещения Яндекса вечный внутри каждого потока.

Так как природа прокси, может быть, что в процессе работы, выходной ip сменился без моего участиях, я это никак не отслеживал.

Ни по каким ссылкам из выдачи не переходил, выдачу никуда не сохранял. Только писал в лог текущий урл браузера, чтобы понять была ли каптча.

Нигде никаких ожиданий, искусственных тайм-аутов нет. Только ожидание полной загрузки страницы с тайм-аутом по умолчанию.

Домены Яндекса в процессе не менял, использовал один и тот же.

Просидел два часа, прождал каптчу хотя бы на одном их 10-ти запущенных потоков.

Лог одного потока:

[666847975] [04:42:40] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+mv4k1adc1w&search_source=yacom_desktop_common&rdrnd=481729&lr=10743&redircnt=1695555745.1
[666847975] [04:43:51] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+3vkxoyr1yc&search_source=yacom_desktop_common&rdrnd=892079&lr=10743&redircnt=1695555761.1
[666847975] [04:43:59] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+o9ctqc54ek&search_source=yacom_desktop_common&rdrnd=414770&lr=10743&redircnt=1695555831.1
[666847975] [04:45:10] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+zwoih8cjgy&search_source=yacom_desktop_common&rdrnd=515797&lr=10743&redircnt=1695555840.1
[666847975] [04:45:17] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+yft38tg7e6&search_source=yacom_desktop_common&rdrnd=314699&lr=10743&redircnt=1695555910.1
[666847975] [04:46:28] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+rp7j6mbupl&search_source=yacom_desktop_common&rdrnd=953453&lr=10743&redircnt=1695555918.1
[666847975] [04:46:36] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+m5vvgvlz4f&search_source=yacom_desktop_common&rdrnd=935429&lr=10743&redircnt=1695555989.1
[666847975] [04:46:43] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+lc1no91xzn&search_source=yacom_desktop_common&rdrnd=352691&lr=10743&redircnt=1695555997.1

Домены Яндекса, заранее собрал, думал, что мне понадобятся. Не пригодилось. Выдачу между ними не сравнивал.

yandex.com
yandex.ru
yandex.by
yandex.kz
yandex.uz
yandex.com.tr
yandex.fr
yandex.az
yandex.com.ge
yandex.com.am
yandex.co.il
yandex.lv
yandex.lt
yandex.ee
yandex.md
yandex.tm
yandex.tj