У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Вопрос по парсингу в соц. сетях.
-
-
@control said in Вопрос по парсингу в соц. сетях.:
Мне требуется удалить записи в facebook, где присутствует имя, фамилия и аватарка человека с ленты группы. Как это сделать?
Сперва находим все посты по номеру. Потом в цикле проверяем каждый пост, есть ли в нем нужные нам признаки, если есть, удаляем текущий пост, если нет, идем на следующую итерацию цикла.
-
-
-
@bag162 Допустим забрал текст из поста, проверил слова. То почему именно в этом месте удалится? Для кнопочки где находится удаление селектор один и тот же в каждом посте. То есть если пост не нужно будет удалять, то нужно будет как-то его проскакивать через увеличение cycle_index или другой переменной?
-
-
-
-
-
-
-
