У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Работа одного скрипта бас на нескольких серверах
-
Есть скрипт который работает с одной соц сетью. При работе используется такие данные как список профилей которые необходимо проспамить, парсятся они в реальном времени. Вопрос в том как сделать так, чтобы пред тем как взять ссылку на нужного юзера это строка сверялась по общей базе со всех машин, а не только по файлам на локальной машине, чтобы не было дублей глобально?
-
-
@FastSpace Этот вариант подходит если все сервера удаленные, а не физически объединены в одну сеть?
-
@Vennix said in Работа одного скрипта бас на нескольких серверах:
@FastSpace Этот вариант подходит если все сервера удаленные, а не физически объединены в одну сеть?
Да, но если если сильно удалены будут от источника диска, то будут проблемы конекта и отваливания диска.
-
@Vennix said in Работа одного скрипта бас на нескольких серверах:
А есть вариант как то записывать данные в файл на свой хостинг и обращаться к нему каждый раз?
Ваш кейс только через БД можно реализовать. Через общий диск вы не решите проблему распределения данных.
-
@Vennix С удаленной БД работать придется через node js, ставите БД (на свой вкус), настраиваете ее, ставите библиотеку для node js в бас, реализовываете нужную логику и все )))
-
@Vennix said in Работа одного скрипта бас на нескольких серверах:
Или опять же через сетевой диск?
Ага, через что-то подобное
-
@UserTrue на сервере перед бд можно поставить api сервер,
через который можно будет удобно работать через гет/пост запросы без дополнительных заморочек в basя как то смотрел онлайн таблицы/базы нашел с удобным доступом по api.(вкл. фри лимиты )
-
@tet-vivi said in Работа одного скрипта бас на нескольких серверах:
@UserTrue на сервере перед бд можно поставить api сервер,
через который можно будет удобно работать через гет/пост запросы без дополнительных заморочек в basМне это зачем говорить? А я не думаю, что сервер апи нужен. Работа через ноду проще и эффективней тк передача данных будет не через http.
А человек кстати ничего не знает о БД, а тут ему про API написать xD
-
@kuzkuz said in Работа одного скрипта бас на нескольких серверах:
Да, конечно , это самый простой вариант если с удаленной бд проблемы
А как это решит проблему распределения данных между разными копиями скрипта?
-
@UserTrue said in Работа одного скрипта бас на нескольких серверах:
@kuzkuz said in Работа одного скрипта бас на нескольких серверах:
Да, конечно , это самый простой вариант если с удаленной бд проблемы
А как это решит проблему распределения данных между разными копиями скрипта?
Элементарно. Конкретизируйте вопрос и я отвечу