У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Вопрос по ресурсам
-
Всем привет. Есть небольшой вопрос по ресурсам в bas. К примеру у меня есть ресурсы: кошельки, прокси и твиттеры. Мне нужно чтобы они были консистентны, то есть к примеру он взял первый набор ресурсов, произошла какая-то ошибка и он скипает сразу весь набор и переходит к следующему, как бы не мешая их, тк у меня все данные один к одному.
-
тогда не нужно создавать отдельные ресурсы под кошельки, прокси и твиттеры
Раз данные связаны между собой, то и храни их в связанном виде, строка с разделителем уникальным:
кошель1|@|прокси1|@|твиттер1
дальше в скрипте, получает строку из ресурса , разбиваешь ее по разделителю |@| и работаешь, после работы записываешь в ресурс , если нужно, в таком же собранном виде. -
спасибо. А других более удобных вариантов нет? просто пишу скрипт для людей которые не смогут нормально связать через разделители, но смогут загрузить все по отдельности. или можно типо взять 3 ресурса по отдельности, собрать в один связанный ресурс и с ним работать?
-
@Bot_Sculptor да и в целом в софтах такого вида не видел чтобы данные загружлись через разделитель одним ресурсом, в основном все по отдельности, даже там, где поддерживается консистентность
-
@ilyx said in Вопрос по ресурсам:
@Bot_Sculptor да и в целом в софтах такого вида не видел чтобы данные загружлись через разделитель одним ресурсом
А я только такой софт и видел. Нужны данные для одного аккаунта - нужно их подгружать одним ресурсом или не использовать ресурсы вообще, а использовать БД.
Можно при старте скрипта брать данные из многих ресурсов и "склеивать" их в один и этот ресурс потом использовать в скрипте, не забывая сохранять его при склейке, чтобы при повторных запусках данные брались из первой склейки.
Такой финт ушами я сам делал, но он чреват багами. Надо внимательно отлаживать.