Я перечитал твое сообщение множество раз и так не понял зачем оно нужно и кому оно нужно, несмотря на обильное выделение в тексте.
Тут варианта три:
у тебя редкий кейс у меня редкий кейс у обоих редкий кейсЕсть еще 4-й вариант, у меня тугая соображалка - но я его не рассматриваю 😃
Как делаю я:
Terraform (https://www.terraform.io/) для автоматического создания и удаления серверов в облаках. Один запуск может очень быстро создать или уничтожить тонны серверов в облаках, будь то DigitalOcean, Hetzner, AWS, Vultr, Yandex и так далее.
Установку я делаю из предварительного образа, где моя "лицензия" Windows. Такое возможно даже на AWS, несмотря на то, что Интернет говорит что нельзя. Бабла экономит знатно, особенно на дорогих инстансах.
Логика работы такая:
настроил вручную нужный сервер скриптом/вручную сделал snapshot/backup скриптом поднял пачку VDS из образа тем же скриптом сохранил в папочку RDP ярлыки для Windows машинПри необходимости повторил. Поднимал и 50 серверов за раз, думаю и 500 тоже будет работать.
Что касается логов, то есть Elastic Logstash (https://www.elastic.co/logstash). Также использовал https://www.loggly.com/, последнее мне показалось проще и настраивается сильно быстрее во множестве случаев.
Когда есть множество предварительно настроенных виртуальных машин, все логи автоматически направляются туда, куда мне нужно сразу после создания виртуалки. Hа логи я в итоге забил, нет там ничего интересного.
Данные для каждого инстанса скрипты получают из общей БД. На уровне БД решается выдача каждому инстансу нужных данных. Туда же в БД скрипты сохраняют результат работы. Если использовать БД для скриптов, не будет никаких проблем с дублированными данными, так как на уровне БД все давно уже решено, нужно только правильно написать запрос.
Можно работать с БД как напрямую, так и через прокладки - https://supabase.com/, https://firebase.google.com/, https://nhost.io/ и так далее. Через прокладки иногда проще делать, чем лезть напрямую в БД, особенно если не сильно шаришь как оно работает.