У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Вопрос по запросам
-
Подскажите кто разбирается в get-post.
В какую сторону смотреть чтобы найти "скрытые" переменные в стиле номеров сессий, токенов и серверного времени, которые передаются при регистрации, но которые не видно нигде до их отправки. Как такие вещи отлавливать?
Пересматривал по несколько раз все записанные запросы, их заголовки и само тело - нигде нет данных, до их отправки post запросом.
Использую Fiddler. -
@wolfspas12 said in Вопрос по запросам:
Подскажите кто разбирается в get-post.
В какую сторону смотреть чтобы найти "скрытые" переменные в стиле номеров сессий, токенов и серверного времени, которые передаются при регистрации, но которые не видно нигде до их отправки. Как такие вещи отлавливать?
Пересматривал по несколько раз все записанные запросы, их заголовки и само тело - нигде нет данных, до их отправки post запросом.
Использую Fiddler.Скорее всего эти токены генерируют js скрипты на странице
-
@Fox т.е вытащить их не получиться?
-
@wolfspas12 said in Вопрос по запросам:
@Fox т.е вытащить их не получиться?
их нужно не вытаскивать, их нужно самому сгенерировать
-
@Fox Можно где-то почитать про такое?
-
@wolfspas12 said in Вопрос по запросам:
@Fox Можно где-то почитать про такое?
Про что? Как разбирать чужие скрипты и понять что они делают? Или как в чужих скриптах найти необходимое место и понять как оно работает? Сайтов великое множество и все их пишут разные люди, каждый может придумать свой способ дополнительной проверки, узнать о которой можно только зная яваскрипт.
-
-
Про сам принцип поиска таких проверок и последующей генерации.
Толковых обучающих видео и статей крайне мало, либо плохо ищу, а в слепую тыкаться уже надоедает. -
@wolfspas12 не ищите, а учите js. Другого пути нет. Когда выучите сами все поймете
-
@wolfspas12 said in Вопрос по запросам:
Про сам принцип поиска таких проверок и последующей генерации.
Опыт. Люди хоть и разные они все равно повторяются. Вам не просто так советуют учить js конструкции которые можно составить и вероятнее всего будут составлять именно так, так тупо проще. А для этого надо самому быть погромистом и кроме js очень желательно знать еще и html. Вы обходите заборы построенные другими людьми. Все эти генераторы и прочее есть в коде раз генерим мы значит это диапазон значений, иначе я вообще что угодно могу отправить. И сервер это примет. А раз диапазон значит что то где то его генерирует от значения а до значения б. И вот наша задача найти этот самый алгоритм. А вот его и прячут. Он может подгружаться несколькими сриптами, может быть обсфуцирован, да много что может. JS вам нужен для этого читать ЧУЖОЙ код и код написанный так что бы его было трудно понять. как то так. Но это частный случай. Изучите с азов web scraping.
