У меня был очень похожий опыт, но я остановился на другом решении.
Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
Скрипт тот же, никаких оптимизаций не делалось.
Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).
Очистить кэшированные данные по маске URL
-
@Bot_Sculptor said in Очистить кэшированные данные по маске URL:
нет готовых тулз
Да так-то все инструменты есть, правда они сложные и очень комплексные. Нужен опыт работы с Linux, базовые навыки написания скриптов, etc.
@UserTrue said in Очистить кэшированные данные по маске URL:
а тут уже писал @sergerdn варианты, самый разумный разруливать трафик на промежуточном своем прокси и запросы к api и страницам сайта пускать через дорогие прокси, а запросы за статикой типо картинок, стилей и шрифтов через простые прокси
Это сложно, так как нужен опыт. Но это так в любом деле - если нет опыта, многие вещи могут быть сложными.
Код не тестировал, могут быть ошибки вплоть до банальных опечаток:
// Clear local storage and session storage localStorage.clear(); sessionStorage.clear(); // в теории не обязательно, при закрытии браузера будет очищено //Clear IndexedDB indexedDB.databases().then(dbs => { dbs.forEach(dbInfo => { const request = indexedDB.deleteDatabase(dbInfo.name); request.onerror = () => { console.log(`Error deleting database ${dbInfo.name}`); }; request.onsuccess = () => { console.log(`Database ${dbInfo.name} deleted`); }; }); }); // Unregister any service workers navigator.serviceWorker.getRegistrations().then(registrations => { for (let registration of registrations) { registration.unregister().then(boolean => { console.log(boolean ? 'Service Worker unregistered successfully' : 'Service Worker unregistration failed'); }); } }); -
@Bot_Sculptor said in Очистить кэшированные данные по маске URL:
@Nicolas прокси, отпечаток это понятно.
У нас тут в топике задача образовалась, экономить траф, ускорять. Вот используем нагуленный кэш профилей. Работает, берет из кэша, траф и скорость экономит.Подскажите, пожалуйста, чтобы кеш сайта/сайтов прикрепить новому созданному профилю необходимо и достаточно перекинуть папку Default\Network в новый профиль или нужно перекинуть только! файл Cookies ?
Спасибо заранее. -
@kuzkuz
смотря что ты хочешь сделать, мне показалось ты сам не понял что спросил)
ты хочешь перекинуть файл с куками профиля с одного места в другое,? тогда просто копируй весь каталог профиля
или ты хочешь скопировать папку с кешем, но без куков и всего остального, чтобы создать новый акк с уже загруженым кешем с определенного сайта, чтоб его не загружать каждый раз заново? - тогда тебе куки не нужны их удалить наоборот надо оттуда. как удалить - вон выше написано
ну или там не знаю просто хочешь весь профиль перенести кудато? тогда просто скопируй целую папку да и все -
@basuser123 Профиль был на 5ти сайтах. Хочу взять новый профиль , что то в него переместить из старого, так чтобы эти 5 сайтов считали что этот тот же самый юзер, просто устройство поменял. На сайтах нет никаких авторизаций. Задача просто подменить устройство.
-
@basuser123 said in Очистить кэшированные данные по маске URL:
@kuzkuz
смотря что ты хочешь сделать, мне показалось ты сам не понял что спросил)Сможете подсказать? То что я хочу сделать - постом выше.
Понимаю, что можно весь профиль копирнуть и к нему применить новый отпечаток. Но думаю это будет не хороший вариант. Задача в новый профиль подгрузить историю действий/гуляния по этим 5 сайтам. -
@kuzkuz
ну можно просто куки взять с первого профиля и повесить на второй. я так еще не делал, но в теории может сработать. только это еще палевнее будет выглядеть для сайта, там же в профиле не только куки, а еще всякая разная доп инфа, так что я бы просто в таком случае работал бы максимально с тем же профилем но просто поменяв отпечаток, который бы обновился на этом профиле. почему нет? ну поменял\обновил чел браузер в чем проблема? чтоб быть более уверенным что аки выживут - просто после обновления фингера не делать других high risk телодвижений типа перевод 10к баксов одной транзой или смены телефона. если надо, то сделать это на следующем заходе.. и да, включай 2mfa где есть возможно - так мне кажется к аккам вообще намного меньше вопросов в любых ситуациях
а в кеше сайтов нет никакой приватной инфы, он в этом случае не нужен, это просто набор стандартных фоток\скриптов при загрузке страницы. они в данном случае не необходимыну этой мой чисто распиzдяйский подход, где-то может и не сработает и побанят аки. вот тут примерно с 10 поста интересное обсуждение с иным, слишком хитрым подходом, но я все-же считаю что это лишнее
-
@basuser123 said in Очистить кэшированные данные по маске URL:
@kuzkuz
ну можно просто куки взять с первого профиля и повесить на второй. я так еще не делал,Файл Cookies ? Хочу потестить
-
@basuser123 said in Очистить кэшированные данные по маске URL:
@kuzkuz
ну можно просто куки взять с первого профиля и повесить на второй. я так еще не делал,Файл Cookies ? Хочу потестить
Подскажите плз кто знает, в файле вижу урлы изучаемого мною сайта. Ну по которым бот гулял. А там есть где то в коде (в файле) даты получения этих кук, файл "глазами" не читабельный. Извините за нубский вопрос. Спасибо заранее.
-
@kuzkuz said in Очистить кэшированные данные по маске URL:
файл "глазами" не читабельный. Извините за нубский вопрос. Спасибо заранее.