У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Оптимизация скрипта
-
-
@kaget said in Оптимизация скрипта:
Вопрос к знатокам! Как можно оптимизировать/ускорить скрипт, кроме использования XPATH?
Get/Post , а так да, лучшее решение Xpath
-
@kingstreet06 said in Оптимизация скрипта:
@kaget said in Оптимизация скрипта:
Вопрос к знатокам! Как можно оптимизировать/ускорить скрипт, кроме использования XPATH?
Get/Post , а так да, лучшее решение Xpath
xpath ничего не ускоряет. Я так понимаю вики читать дело не царское https://wiki.bablosoft.com/doku.php?id=ru:how_to_optimize_script
-
@kaget said in Оптимизация скрипта:
Вопрос к знатокам! Как можно оптимизировать/ускорить скрипт, кроме использования XPATH?
https://community.bablosoft.com/search?term=оптимизировать&in=titlesposts&matchWords=all&sortBy=relevance&sortDirection=desc&showAs=posts -
@usertrue said in Оптимизация скрипта:
@kingstreet06 said in Оптимизация скрипта:
@kaget said in Оптимизация скрипта:
Вопрос к знатокам! Как можно оптимизировать/ускорить скрипт, кроме использования XPATH?
Get/Post , а так да, лучшее решение Xpath
xpath ничего не ускоряет. Я так понимаю вики читать дело не царское https://wiki.bablosoft.com/doku.php?id=ru:how_to_optimize_script
Дело не об ускорении, а об оптимизации было. CSS часто может измениться, а Xpath всегда константа.
-
@kaget
https://community.bablosoft.com/search
Тут очень много информации. -
@kingstreet06 said in Оптимизация скрипта:
@usertrue said in Оптимизация скрипта:
@kingstreet06 said in Оптимизация скрипта:
@kaget said in Оптимизация скрипта:
Вопрос к знатокам! Как можно оптимизировать/ускорить скрипт, кроме использования XPATH?
Get/Post , а так да, лучшее решение Xpath
xpath ничего не ускоряет. Я так понимаю вики читать дело не царское https://wiki.bablosoft.com/doku.php?id=ru:how_to_optimize_script
Дело не об ускорении, а об оптимизации было. CSS часто может измениться, а Xpath всегда константа.
С чего вы взяли это ))) Все зависит от того как составить CSS и XPATH меняется разметка страницы , а если она меняется а селектор завязан на измененных элементах то неважно какого типа он.
-
@usertrue said in Оптимизация скрипта:
@kingstreet06 said in Оптимизация скрипта:
@usertrue said in Оптимизация скрипта:
@kingstreet06 said in Оптимизация скрипта:
@kaget said in Оптимизация скрипта:
Вопрос к знатокам! Как можно оптимизировать/ускорить скрипт, кроме использования XPATH?
Get/Post , а так да, лучшее решение Xpath
xpath ничего не ускоряет. Я так понимаю вики читать дело не царское https://wiki.bablosoft.com/doku.php?id=ru:how_to_optimize_script
Дело не об ускорении, а об оптимизации было. CSS часто может измениться, а Xpath всегда константа.
С чего вы взяли это ))) Все зависит от того как составить CSS и XPATH меняется разметка страницы , а если она меняется а селектор завязан на измененных элементах то неважно какого типа он.
А запретить запросы фотографий, сайт не будет палить что я их запретил?
-
@kingstreet06 said in Оптимизация скрипта:
@usertrue said in Оптимизация скрипта:
@kingstreet06 said in Оптимизация скрипта:
@usertrue said in Оптимизация скрипта:
@kingstreet06 said in Оптимизация скрипта:
@kaget said in Оптимизация скрипта:
Вопрос к знатокам! Как можно оптимизировать/ускорить скрипт, кроме использования XPATH?
Get/Post , а так да, лучшее решение Xpath
xpath ничего не ускоряет. Я так понимаю вики читать дело не царское https://wiki.bablosoft.com/doku.php?id=ru:how_to_optimize_script
Дело не об ускорении, а об оптимизации было. CSS часто может измениться, а Xpath всегда константа.
С чего вы взяли это ))) Все зависит от того как составить CSS и XPATH меняется разметка страницы , а если она меняется а селектор завязан на измененных элементах то неважно какого типа он.
А запретить запросы фотографий, сайт не будет палить что я их запретил?
Все может быть, в создание ботов нет универсальных рецептов, каждый проект уникален xD
-
-
@fastspace said in Оптимизация скрипта:
Проще не скрипт оптимизировать, а мощности серваку добавить.
Серфлю по сайтам в 70 потоков на 8 ядерном процессоре спокойно.Оптимизировать не проще, но лучше.
