У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Поиск по текстовому документу
-
Всем привет! Задумка – есть сайт, на странице 10 определенных ссылок.
- Извлекаем первую ссылку
- Проверяем ее наличие в текстовом документе
- Если ссылка присутствует – добавляем ее в этот документ
- Если ссылка отсутствует – извлекаем вторую ссылку и все по новой.
Как это возможно реализовать? Как проверять ссылку на существование в документе? Заранее спасибо
-
@susannewhite38 лучше используйте базу данных.
-
-
@SimpleBot said in Поиск по текстовому документу:
если индекс == -1 — значит ссылки в списке нет.
Для этого существует действие "Содержит" в этом же модуле. Оно вернёт булево
