У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Скиньте кто-нибудь гайд по HTTP-клиенту
-
работает и аллилуя без бубнов сам пробовал, но мне не нравитсяneedle не пробовал надо сами сделаете
http(s) самое оно угусь но вот назвать это гайдом.. учите js
Curl это и есть стандартный http клиент для баса но он как лужа широкая и не глубокая, если надо его заточить, то перекомпиливать сам бас тоже можно.
манов с картинками нет насколько я знаю, писать я например не буду, мне лень, изогчем мене конкуренты?=)upd
Просвещайтесь
Web scraping при помощи Node.js Гайд и фсе вот это, но учтите вы хотите то что не является простой задачей и нажав пару кнопок с картинками вы получите заветную кнопку бабло. Это реверс инжиниринг и на той стороне очень много умных людей вам надо их обойти. -
@Kopath4 В данном стриме есть пример https://www.youtube.com/watch?v=fC97DG2MHQM
@tts9 Вы хотели показать, что знаете много умных слов? Причем тут nodejs, это форум по БАС, и человек явно не указал, что ему нужен конкретно nodejs, тот кто работает в nodejs обычно такие вопросы не задает. C тем же успехом могли ему дать ссылки на С++
-
@UserTrue Знаю еще я знаю что curl можно собрать давно для баса что он будет почти как браузер, но этого не смогут и им надо учить nodejs иначе все их поделия будут палится на одном старте я ясно выразился?
Пример простой арбуз chromium не понимающий br этот нонсенс=) -
@tts9 Оооо, вы реально свято верить что вас будут палить по br? )) Есть миллион и один способ отсечь ботов которые на http клиенте работают и если сервис серьезно борется с ботами, тогда только браузер. И никакие бротли вас не спасут. Поэтому не вводите новичков в заблуждение. Если вам нравится с node js писать целый день то, что в БАС делается за полчаса то можете этим дальше заниматься. Я node js тоже знаю и знаю о чем говорю.
-
@UserTrue Я реально работаю на запросах, а не клянчу полиморфы и арбузы использую только тогда когда обход будет дороже.
Лан это все лирика, ты же хорошо знаешь ноду вот и написал бы гайд по ней на запросах. Классы и методы, думаю многие тут бы сказали спасибо.
А br это только один из самых известных приколов. И да палят милай лезь в гугл и скажи что ты не панимаешь. оценишь резулт
upd сама по себе кодировка конечно фигня, но мы же делаем имитацию и чем она точнее тем лучше антифрод на нас не посмотрит, а тут html запрос версия ua вся такая нарядная и прошу gzip, deflate. -
@Kopath4 Простите наш флейм выше. http клиент это не браузер и для его полноценного использования вам потребуется как минимум нормальное знание js и веб скрапинга. Вы руками должны будет и головой повторить то что браузеры делают сами. А современные браузеры могут очень сильно отличаться друг от друга и просто установить набор переменных получится, но работать не будет. Например браузер firefox в заголовке Accept при обращении к html отправляет text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8
И не только он например иридиум похожее "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,/;q=0.8" а это chromium пусть и старый движек. А вообще браузеры на основе chromium и сам chrome вот такое шлют: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.9
как видите это большая разница. Это все вам нужно знать что бы ваш скрипт на запросах мог работать как браузер -
This post is deleted!