У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Вопрос по блокировке российских ресурсов в Украине, как теперь лучше работать.
-
Можно конечно работать через проксю, но возможно есть и другое решение. Вопрос собственно в следующем, после блокировки yandex в Украине у меня возникла следующая проблема.
Многие русскоязычные сайты имеют в своем коде яндекс метрику или код директа опять таки от яндекса, некоторые имеют счетчик от майлу. Если я со своего айпи сайт смотрю через браузер, то мне просто не показывается объявления от директа и страничка полностью не прогружается. Для простого пользователя это не критично, но во время работы через БАС, в таком случае, сайт в результате того что он полностью не прогружается , отваливается через ошибку, превышено время ожидания загрузки страницы.
Как это лучше обойти? Просто обвернуть все в игнорирование ошибок? Использовать прокси? Или есть еще какой более простой способ? -
@DrPrime said in Вопрос по блокировке российских ресурсов в Украине, как теперь лучше работать.:
@Samael_96
вариант 1 - сразу запретить все ненужные запросы
вариант 2 - не ждать полной загрузки страницы, а привязываться к какому то элементу сайтаА можно поподробнее первый вариант как конкретно с яндексом через запретить запрос?
Запретить запрос -> и внутри пишем маску вида yandex.ru
Второй вариант не подходит потому что валится на этапе виджета Загрузить -
@Samael_96 said in Вопрос по блокировке российских ресурсов в Украине, как теперь лучше работать.:
Второй вариант не подходит потому что валится на этапе виджета Загрузить
не будет валиться если отключить полную загрузку страницы, часики под полем ввода ссылки