У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Поделится ли кто скриптом гулялки по сайт?
-
-
-
@gaget007 said in Поделится ли кто скриптом гулялки по сайт?:
@35xakers Если в двух словах: заход на сайт, парсинг всех ссылок, поочередный переход.
Поочередной не устраивает, нужно что бы случайно, после клика снова парсинг и опять случайный переход внутри сайта.
Ну и что бы не повторялись они, возможно такое реализовать? -
@35xakers
Да, зашел на сайт, спарсил, отсеял те, которые не относятся к этому сайту, взял случайную, перешел - добавил в новый список ту ссылку, куда перешел, опять спарсил, отсеял, взял случайную, проверил нет ли ее во втором списке, перешел. -
-
-
@gaget007 said in Поделится ли кто скриптом гулялки по сайт?:
@35xakers через конструктор выражений например, если содержит google.com, то ок, если не содержит, то неок
Также нужно проверять чтобы на конце не было .jpeg .png
-
@OLEG said in Поделится ли кто скриптом гулялки по сайт?:
@gaget007 said in Поделится ли кто скриптом гулялки по сайт?:
@35xakers через конструктор выражений например, если содержит google.com, то ок, если не содержит, то неок
Также нужно проверять чтобы на конце не было .jpeg .png
Я так полагаю еще .html .css и прочее?
-
Поочередной не устраивает, нужно что бы случайно, после клика снова парсинг и опять случайный переход внутри сайта.
Ну и что бы не повторялись они, возможно такое реализовать?Это реализовано в одном из примеров, которые идут при работе с софтом "Посещение сайта".
Быстрый способ решить любые проблемы с антидетект https://community.bablosoft.com/topic/12198
-
@support Все хорошо работает, немного доработать и то что нужно, спасибо.
А как бы настроить случайный просмотр видео на ютуб с определенного канала?
например этот https://www.youtube.com/user/vova20714/videos
Что бы скрипт грузил страницу и клацал на случайное видео, спал определенное время, потом возвращался на страницу видео и тоже рандомно кликал но чтоб видео не повторялись? нужно как то выделить блок где сами видео и переделать уже готовый скрипт гуляния по сайту? но как сделать что бы скрипт не клацал по ненужным ссылкам? по маске можно как то выделить? -
Что бы скрипт грузил страницу и клацал на случайное видео, спал определенное время, потом возвращался на страницу видео и тоже рандомно кликал но чтоб видео не повторялись? нужно как то выделить блок где сами видео и переделать уже готовый скрипт гуляния по сайту? но как сделать что бы скрипт не клацал по ненужным ссылкам? по маске можно как то выделить?
К тому примеру скрипта добавьте:
- возвращение на оригинальную страницу после просмотра.
- фильтрацию урл. Если урл не подходит под под регулярное выражение(действие "Подходит ли строка под регулярное выражение") - то пропускать ссылку и искать следующую.
-
-
