У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Подскажите по Xpath
-
<div class="activity-block activ-telegram" id="activ-telegram" data-url="https://ubolder.com/en/loading/telegram">
<div class="activity-title">
<a href="https://t.me/Cycain" rel="nofollow" target="_blank">Telegram <i class="external-link"></i></a>
</div> Нужно вытащить ссылку наТелеграм, никак не получается. -
@wwwin said in Подскажите по Xpath:
<div class="activity-block activ-telegram" id="activ-telegram" data-url="https://ubolder.com/en/loading/telegram">
<div class="activity-title">
<a href="https://t.me/Cycain" rel="nofollow" target="_blank">Telegram <i class="external-link"></i></a>//a[contains(text(),'Telegram')]/@href
-
@wwwin Если у вас пока не очень с xpath-ами и напрямую составлять пока опыта маловато. То могу посоветовать
как селениум ;-)
Предупреждаю программа большая и требует регистрации. но беспл. Запускаете spy web и вперед он подсветит подскажет. Можно по классу по тегам по тексту составлять. В последней версии 5.6 появилась возможность xpath-ничать не только на веб страницах. Можно из fiddler а напрямую загрузить. Notepad-> выбираем браузер ссылку в spy web и открываем) Раньше он так не умел. А браузеры и сейчас не умеют. Т.е. ты не привязан к странице, она у тебя.
З/ы он на англичанском, да.
(Под не умеют я имею ввиду страницу не на серваке, xpath ами долбить дело весьма спорное)) как правило путь укажет только абсолютный. Т.е. составляй сам. Но если умеешь то и помощники не ннада) Воть. Каталон умеет. -
@bigorat НЯП аддон тоже не умеет работать со страницами не сервака. Например .htm из фидлера. Эта способность у каталона появилась в 5.6 скоро наверное и аддон сможет.)) А так зачем он если ты не сможешь его юзать? Браузер и бас хоть и получают почти одинаковое, но вот обвязка разная часто вы не найдете по классам или id в басе то что сделаете браузером. (я про http) он просто не просит догружаемое. А в фидлере можно). Но это все для начала я им редко пользуюсь кода лень) Но научится составлять можно. Не читать, а видеть как как они составляются.
-
@bigorat Я вот о чем.

Так же он умеет делать и со страницами из фидлера или вообще любой текстовик с расширением htm(l). Не абсолютный html/body/table/tbody/tr/td/table/tbody/tr/td/font/table/tbody/ и ты/ды а составлять.пыпысы забыл то что ловит снифер баса тоже можно. да

