Очистить кэшированные данные по маске URL

[basuser123]

@Bot_Sculptor said in Очистить кэшированные данные по маске URL:

Вот на счет его. Если использовать профиль заранее подготовленный (болванка), где уже скрипт походил по нужным страницам, насобирал кэш. Очистить профиль от кук и использовать дальше в других потоках.
Перед запуском браузера, переключится на такой профиль.
Правильно ли я "надеюсь", что кэш будет использоваться из профиля-болванки и таким образом я буду экономить трафик, быстрее будет прогружаться контент?

этот варик нормальный, я сейчас довел до ума свой скрипт он запускает в тех же папках с сохраненным кешем - траффик упал в 6 раз и скорость поднялась в 2 раза, збс)
у меня вопрос к тебе ты решил вопрос с удалением куков и localStorage? я вижу что можно сделать это двумя путями - руками если 1 раз, и потом копировать эту папку, но это немного напряжно будет компу, пытаюсь оптимизировать. думаю что ходить по кругу по тем же самым папкам профилей, но с удаленными после предыдущего потока куками и localStorage будет намного быстрее, т.к. это разовый заход и мне от него не нужно ни профиля ни куков
поэтому я пока рассматриваю вариант очистки куков и localStorage после каждого потока завершения или при запуске нового потока.
куки можно удалять тупо файл и localStorage чистить тупо командой localStorage.clear();
но стало интересно может в стандартных настройках баса можно это делать просто одной настройкой.
пока нашёл такое, что не подходит потому что он также пытается удалить кеш, что мне не подходит:

вот интересно если сталкивался с этим вопросом то есть там стандартное решение, если нет тогда буду удалять отдельно файлы куков и отдельно чистить localStorage

добавлено
нашел такой пост
@uraabk said in Как очистить куки:

@refnik said in Как очистить куки:

Надо очистить куки с одного сайта,а не выполнять сброс всего браузера.Подскажите,как это сделать?

Действие Загрузить cookies, пустое.

пытаюсь протестить действительно ли такое прокатит, но пока не могу найти файл куков
E:\1\Default\Network\Cookies
похоже не он, или куки туда не пишутся. захожу в профиле на разные сайты - этот файл не обновляется. пока в поисках))

после этого вопроса перейду к localstorage и как его очистка работает, и работает ли)

добавлено
сделал эксперимент после закрытия браузера поставил паузу 2 минуты, после этого поставил команду

Действие Загрузить cookies, пустое.

после этого еще ждать 2 минуты и завершать поток.
и дейтсвительно файл E:\1\Default\Network\Cookies обновился через 2 минуты, значит действительно куки лежат в нем и возможно даже такая схема с очисткой профиля от прошлых кук работает

spoiler

проверил локалстордж - тоже нормально очищает эта яваскрипт команда

spoiler

[Bot_Sculptor]

@basuser123 said in Очистить кэшированные данные по маске URL:

этот варик нормальный, я сейчас довел до ума свой скрипт он запускает в тех же папках с сохраненным кешем - траффик упал в 6 раз и скорость поднялась в 2 раза, збс)
у меня вопрос к тебе ты решил вопрос с удалением куков и localStorage? я вижу что можно сделать это двумя путями - руками если 1 раз, и потом копировать эту папку, но это немного напряжно будет компу, пытаюсь оптимизировать. думаю что ходить по кругу по тем же самым папкам профилей, но с удаленными после предыдущего потока куками и localStorage будет намного быстрее, т.к. это разовый заход и мне от него не нужно ни профиля ни куков
поэтому я пока рассматриваю вариант очистки куков и localStorage после каждого потока завершения или при запуске нового потока.

привет. Да, я все также примерно сделал. Тоже трафика жрать стало в 5-6 раз меньше, из кэша на диске берет.
У меня болванки заготовлены уже с очищенными cookies, localStorage лежат на RAM диске. Каждый поток берет болванку копирует в новый профиль и работает с ним, дальше просто удаляет. Поскольку на RAM диске, то все быстро. Но это все пока в тестовом режиме.. просто чтобы проверить догадки, а там может будет уже улучшатся.

up: еще папку IndexedDB удалить
и куча остального (кроме кэша), вот список того, где упоминается сайт с которым идет работа, хз как оно влияет на паливо, если это оставить, скорее всего не особо, но от сервиса зависит

spoiler

[A Former User]

window.localStorage.clear();
window.sessionStorage.clear();

и загрузить пустые куки.

[Bot_Sculptor]

@Nicolas думаешь, этого будет достаточно, чтобы подчистить профиль, чтобы сервис не спалил, что это профиль использовался под другим аккаунтом?

[A Former User]

@Bot_Sculptor сервисы разные бывают, ну еще проксю сменить и фингер поменять. В большинстве случаев этого достаточно.

[Bot_Sculptor]

@Nicolas прокси, отпечаток это понятно.
У нас тут в топике задача образовалась, экономить траф, ускорять. Вот используем нагуленный кэш профилей. Работает, берет из кэша, траф и скорость экономит.
НО раз профили будут переиспользоваться для новых созданных потоков, то нужно подчищать данные от прошлого потока (сессии). Для этого, в начале работы потока, перед подключением профиля из прошлого потока, я удаляю файлы/папки (список выше под спойлером), которые косвенно могут выдать сервису, что профиль использовался уже другим потоком (аккаунтом). Ну пока все работает, как и предполагалось, кручу-верчу тестирую.

[A Former User]

@Bot_Sculptor said in Очистить кэшированные данные по маске URL:

Вот используем нагуленный кэш профилей. Работает, берет из кэша, траф и скорость экономит.

По кэшу как раз спалить тоже можно, но может с вашим сайтом и пролезет.

[Bot_Sculptor]

@UserTrue ага, тоже об этом мысли были сразу, но решил тестануть , а то прокси дорогие, а там будет видно банит или нет. Пока вроде все ок

[A Former User]

@UserTrue Даже гугл не палит, не знаю какие у вас замороченные сайты по кешу палят ....

[Bot_Sculptor]

@Nicolas said in Очистить кэшированные данные по маске URL:

@UserTrue Даже гугл и палка не палит, не знаю какие у вас замороченные сайты по кешу палят ....

это отличная новость. Потому что я вот чуток потестил уже эту экономию трафа с кэшем и это нечто!) В разы, бывает(сейчас именно так на моем реальном практическом использовании) и в 30 раз экономит трафик, просто ВАУ. ну и скорость понятно растет.

[FastSpace]

Экономить трафик надо на стороне прокси, тогда поепать на кэш в профиле.

[A Former User]

@FastSpace и много у тебя своих прокси в usa или в индии ?

[A Former User]

@Nicolas said in Очистить кэшированные данные по маске URL:

@UserTrue Даже гугл и палка не палит, не знаю какие у вас замороченные сайты по кешу палят ....

Я сказал, что это возможно но конкретный сайт может это не проверять. А так тут никто ничего не палит, а потом появляются темы помагите, сайт палит бас ) И в лс начинают наебывать помоги за денюшку xD

[basuser123]

@FastSpace said in Очистить кэшированные данные по маске URL:

Экономить трафик надо на стороне прокси, тогда поепать на кэш в профиле.

ох уж эти ребусы вечные ))
опять ниче не понятно но очень интересно)))

[A Former User]

@basuser123 said in Очистить кэшированные данные по маске URL:

ох уж эти ребусы вечные ))
опять ниче не понятно но очень интересно)))

Да тут уже писал @sergerdn варианты, самый разумный разруливать трафик на промежуточном своем прокси и запросы к api и страницам сайта пускать через дорогие прокси, а запросы за статикой типо картинок, стилей и шрифтов через простые прокси

[basuser123]

@UserTrue said in Очистить кэшированные данные по маске URL:

Да тут уже писал @sergerdn варианты, самый разумный разруливать трафик на промежуточном своем прокси и запросы к api и страницам сайта пускать через дорогие прокси, а запросы за статикой типо картинок, стилей и шрифтов через простые прокси

а это да стоит сделать, но когда будет не полтора скрипта, а целое поле комбайнов))

spoiler

[A Former User]

This post is deleted!

[Bot_Sculptor]

@FastSpace said in Очистить кэшированные данные по маске URL:

Экономить трафик надо на стороне прокси, тогда поепать на кэш в профиле.

сложно, долго, дорого, не понятно, нет готовых тулз. По этому пока через кэш.

[sergerdn]

@Bot_Sculptor said in Очистить кэшированные данные по маске URL:

нет готовых тулз

Да так-то все инструменты есть, правда они сложные и очень комплексные. Нужен опыт работы с Linux, базовые навыки написания скриптов, etc.

@UserTrue said in Очистить кэшированные данные по маске URL:

а тут уже писал @sergerdn варианты, самый разумный разруливать трафик на промежуточном своем прокси и запросы к api и страницам сайта пускать через дорогие прокси, а запросы за статикой типо картинок, стилей и шрифтов через простые прокси

Это сложно, так как нужен опыт. Но это так в любом деле - если нет опыта, многие вещи могут быть сложными.

Код не тестировал, могут быть ошибки вплоть до банальных опечаток:

// Clear local storage and session storage
localStorage.clear();
sessionStorage.clear(); // в теории не обязательно, при закрытии браузера будет очищено

//Clear IndexedDB
indexedDB.databases().then(dbs => {
  dbs.forEach(dbInfo => {
    const request = indexedDB.deleteDatabase(dbInfo.name);
    request.onerror = () => { console.log(`Error deleting database ${dbInfo.name}`); };
    request.onsuccess = () => { console.log(`Database ${dbInfo.name} deleted`); };
  });
});

// Unregister any service workers
navigator.serviceWorker.getRegistrations().then(registrations => {
  for (let registration of registrations) {
    registration.unregister().then(boolean => {
      console.log(boolean ? 'Service Worker unregistered successfully' : 'Service Worker unregistration failed');
    });
  }
});

[kuzkuz]

@Bot_Sculptor said in Очистить кэшированные данные по маске URL:

@Nicolas прокси, отпечаток это понятно.
У нас тут в топике задача образовалась, экономить траф, ускорять. Вот используем нагуленный кэш профилей. Работает, берет из кэша, траф и скорость экономит.

Подскажите, пожалуйста, чтобы кеш сайта/сайтов прикрепить новому созданному профилю необходимо и достаточно перекинуть папку Default\Network в новый профиль или нужно перекинуть только! файл Cookies ?
Спасибо заранее.