Очистить кэшированные данные по маске URL

[Bot_Sculptor]

@basuser123 отличный вопрос, меня он как-раз тоже интересует. Также перешел на постоянные профили в виртуальном диске, цель: использовать кэш старого профиля, чтобы по минимуму грузить трафика нового.

[basuser123]

@Bot_Sculptor
ну вот нас уже двое. надеюсь фокс придепорядок навидет и расскажет чото полезное))
я предполагаю что можно сделать через вот так т.е. отсортировать что не нужно загружать и просто заблочить это в басе, но пока не хватает знаний и опыта чтоб понять как с этим работать. пока рандомно тыкаю и каждый раз сцк, что-то новое

[Fox]

@basuser123 said in Очистить кэшированные данные по маске URL:

@Fox
извини за беспокойство, но раз ты уже в этой теме то такой вопрос.
у меня 10 потоков, у каждого потока своя папка с профилем. идут по кругу, один завершился, запускается другой с этой же папкой профиля. сайт ничего не проверяет, поэтому можно и нужно для оптимизации трафика один раз скешировать максимальное количество страницы, чтобы следующие потоки загружали как можно меньше с сайта, а по максимуму брали из кеша.
я предположил, что стандартные настройки БАС так и делают, и перешел с временных профилей на постоянные - кпд вырос на процентов 30 точно
но сейчас у меня вопрос а действительно ли БАС кеширует все что можно по максимуму, или всетаки нужно поставить какие-то доп настройки, например откудато отсюда?
и если да то какие? спасибо
очень пытался понять что значит эта фраза, возможно то что мне надо, но не уверен)

Вы путаете понятия, есть браузерный кэш, то есть данные, которые браузер сохраняет в профиле (копии страниц, картинок, видеороликов и прочих материалов). А есть кэш BAS, это данные, которые сохраняются отдельно в памяти после выполнения действия "Разрешить кэш". Действие BAS нужно для работы с полученными данными, а кэш браузера нужен для экономии времени загрузки страниц.

[Bot_Sculptor]

@Fox said in Очистить кэшированные данные по маске URL:

браузерный кэш, то есть данные, которые браузер сохраняет в профиле (копии страниц, картинок, видеороликов и прочих материалов)

Вот на счет его. Если использовать профиль заранее подготовленный (болванка), где уже скрипт походил по нужным страницам, насобирал кэш. Очистить профиль от кук и использовать дальше в других потоках.
Перед запуском браузера, переключится на такой профиль.
Правильно ли я "надеюсь", что кэш будет использоваться из профиля-болванки и таким образом я буду экономить трафик, быстрее будет прогружаться контент?
Или еще бонусом получу, что сайт сможет палить по старому профилю болванке. Какие-то там еще данные чувствительные остаются в профиле?

[Fox]

@Bot_Sculptor said in Очистить кэшированные данные по маске URL:

@Fox said in Очистить кэшированные данные по маске URL:

браузерный кэш, то есть данные, которые браузер сохраняет в профиле (копии страниц, картинок, видеороликов и прочих материалов)

Вот на счет его. Если использовать профиль заранее подготовленный (болванка), где уже скрипт походил по нужным страницам, насобирал кэш. Очистить профиль от кук и использовать дальше в других потоках.
Перед запуском браузера, переключится на такой профиль.
Правильно ли я "надеюсь", что кэш будет использоваться из профиля-болванки и таким образом я буду экономить трафик, быстрее будет прогружаться контент?
Или еще бонусом получу, что сайт сможет палить по старому профилю болванке. Какие-то там еще данные чувствительные остаются в профиле?

Далеко не всё можно закэшировать, но это зависит от сайта. Плюс сайт может определять используете вы данные с сайта или из кэша, с любыми последствиями. Помимо кук можно ещё очистить localStorage

[basuser123]

@Fox

вчера запустил тестовый варик с кешем в постоянные профили, прокачал сутки, выводы мне немного не понравились и я сел разбираться уже детально в чем дело.

берем обычный хром, открываем страницу полностью, с отключенным кешем - 1,5 мега

spoiler

включил кеш, закрыл, открыл браузер - загрузил опять эту же страницу - 120кб

spoiler

хорошо. тоесть ожидаем от БАС+постоянные свои профили примерно тогоже результата. но на деле получается так - страница, которая уже открывалась из этого профиля и должна загружаться на пару сотен кб макс, грузит все 1,5мега

spoiler

а причина, как я понимаю в этом: (просто перезагружаем страницу, без закрытия\открытия браузера):

spoiler

проблемы 2 -

1. кеш почемуто записывается в память, а не на диск. и это видно по папке профиля - при загрузке страницы там ничего особо не добавляется, никаких точно дополнительных пары мегабайт точно нет.
   поэтому я опять же возвращаюсь в вчерашнему моему вопросу - как сохранять кеш по максимуму, и на диск, а не в память?
2. хотелось бы получать примерно одинаковые результаты в сравнении с обычным хромом и басом в плане загруженной инфы, когда будет работать с кешем. т.е. если хрому достаточно загрузить 120кб, то почему басу в той же ситуации надо загружать 600кб?

п.с. со вторым сайтом примерно тоже самое:

spoiler

[Fox]

@basuser123 said in Очистить кэшированные данные по маске URL:

@Fox

вчера запустил тестовый варик с кешем в постоянные профили, прокачал сутки, выводы мне немного не понравились и я сел разбираться уже детально в чем дело.

берем обычный хром, открываем страницу полностью, с отключенным кешем - 1,5 мега

spoiler

включил кеш, закрыл, открыл браузер - загрузил опять эту же страницу - 120кб

spoiler

хорошо. тоесть ожидаем от БАС+постоянные свои профили примерно тогоже результата. но на деле получается так - страница, которая уже открывалась из этого профиля и должна загружаться на пару сотен кб макс, грузит все 1,5мега

spoiler

а причина, как я понимаю в этом: (просто перезагружаем страницу, без закрытия\открытия браузера):

spoiler

проблемы 2 -

1. кеш почемуто записывается в память, а не на диск. и это видно по папке профиля - при загрузке страницы там ничего особо не добавляется, никаких точно дополнительных пары мегабайт точно нет.
   поэтому я опять же возвращаюсь в вчерашнему моему вопросу - как сохранять кеш по максимуму, и на диск, а не в память?
2. хотелось бы получать примерно одинаковые результаты в сравнении с обычным хромом и басом в плане загруженной инфы, когда будет работать с кешем. т.е. если хрому достаточно загрузить 120кб, то почему басу в той же ситуации надо загружать 600кб?

п.с. со вторым сайтом примерно тоже самое:

spoiler

Ну во первых я бы не доверял вкладке "network" в фаербаге BAS, она может врать. Этот инструмент был добавлен только из за вкладки "elements" для работы с кодом страницы.
Во вторых BAS использует браузер Chromium, а не Chrome. Логично было бы сравнивать размеры профилей именно с Chromium.

Исходя из второго пункта для использования кэша по максимуму в BAS подойдут советы по использованию кеша по максимуму в Chromium:

spoiler

[basuser123]

да эти настройки я смотрел - в басе вобще не сохраняется кеш в папку, не знаю вообще или по умолчанию. пока решение не нашел, сбрасывал в заводские настройки, все что можно потыкал - нет. думаю может саппорт что-то знает больше на этот счет, подождем что скажет...

spoiler

[A Former User]

@basuser123 При запуске браузера, бас использует эти ключи, они отвечают за кэш
(chrome_command_line.txt в папке движка)

--disk-cache-size=1
--disable-gpu-program-cache
--disable-gpu-shader-disk-cache

[FastSpace]

@UserTrue Первый флаг и отключает кэш нужный ему.
Точнее ограничивает в 1 МБ

Даже видел в антифродах детект этого

[basuser123]

@UserTrue
спасибо, поменял на 0 заработало как надо теперь!
интересно сколько еще таких спрятаных от юзеров настроек меня ждет в дальнейшем? ))

[basuser123]

@Bot_Sculptor said in Очистить кэшированные данные по маске URL:

Вот на счет его. Если использовать профиль заранее подготовленный (болванка), где уже скрипт походил по нужным страницам, насобирал кэш. Очистить профиль от кук и использовать дальше в других потоках.
Перед запуском браузера, переключится на такой профиль.
Правильно ли я "надеюсь", что кэш будет использоваться из профиля-болванки и таким образом я буду экономить трафик, быстрее будет прогружаться контент?

этот варик нормальный, я сейчас довел до ума свой скрипт он запускает в тех же папках с сохраненным кешем - траффик упал в 6 раз и скорость поднялась в 2 раза, збс)
у меня вопрос к тебе ты решил вопрос с удалением куков и localStorage? я вижу что можно сделать это двумя путями - руками если 1 раз, и потом копировать эту папку, но это немного напряжно будет компу, пытаюсь оптимизировать. думаю что ходить по кругу по тем же самым папкам профилей, но с удаленными после предыдущего потока куками и localStorage будет намного быстрее, т.к. это разовый заход и мне от него не нужно ни профиля ни куков
поэтому я пока рассматриваю вариант очистки куков и localStorage после каждого потока завершения или при запуске нового потока.
куки можно удалять тупо файл и localStorage чистить тупо командой localStorage.clear();
но стало интересно может в стандартных настройках баса можно это делать просто одной настройкой.
пока нашёл такое, что не подходит потому что он также пытается удалить кеш, что мне не подходит:

вот интересно если сталкивался с этим вопросом то есть там стандартное решение, если нет тогда буду удалять отдельно файлы куков и отдельно чистить localStorage

добавлено
нашел такой пост
@uraabk said in Как очистить куки:

@refnik said in Как очистить куки:

Надо очистить куки с одного сайта,а не выполнять сброс всего браузера.Подскажите,как это сделать?

Действие Загрузить cookies, пустое.

пытаюсь протестить действительно ли такое прокатит, но пока не могу найти файл куков
E:\1\Default\Network\Cookies
похоже не он, или куки туда не пишутся. захожу в профиле на разные сайты - этот файл не обновляется. пока в поисках))

после этого вопроса перейду к localstorage и как его очистка работает, и работает ли)

добавлено
сделал эксперимент после закрытия браузера поставил паузу 2 минуты, после этого поставил команду

Действие Загрузить cookies, пустое.

после этого еще ждать 2 минуты и завершать поток.
и дейтсвительно файл E:\1\Default\Network\Cookies обновился через 2 минуты, значит действительно куки лежат в нем и возможно даже такая схема с очисткой профиля от прошлых кук работает

spoiler

проверил локалстордж - тоже нормально очищает эта яваскрипт команда

spoiler

[Bot_Sculptor]

@basuser123 said in Очистить кэшированные данные по маске URL:

этот варик нормальный, я сейчас довел до ума свой скрипт он запускает в тех же папках с сохраненным кешем - траффик упал в 6 раз и скорость поднялась в 2 раза, збс)
у меня вопрос к тебе ты решил вопрос с удалением куков и localStorage? я вижу что можно сделать это двумя путями - руками если 1 раз, и потом копировать эту папку, но это немного напряжно будет компу, пытаюсь оптимизировать. думаю что ходить по кругу по тем же самым папкам профилей, но с удаленными после предыдущего потока куками и localStorage будет намного быстрее, т.к. это разовый заход и мне от него не нужно ни профиля ни куков
поэтому я пока рассматриваю вариант очистки куков и localStorage после каждого потока завершения или при запуске нового потока.

привет. Да, я все также примерно сделал. Тоже трафика жрать стало в 5-6 раз меньше, из кэша на диске берет.
У меня болванки заготовлены уже с очищенными cookies, localStorage лежат на RAM диске. Каждый поток берет болванку копирует в новый профиль и работает с ним, дальше просто удаляет. Поскольку на RAM диске, то все быстро. Но это все пока в тестовом режиме.. просто чтобы проверить догадки, а там может будет уже улучшатся.

up: еще папку IndexedDB удалить
и куча остального (кроме кэша), вот список того, где упоминается сайт с которым идет работа, хз как оно влияет на паливо, если это оставить, скорее всего не особо, но от сервиса зависит

spoiler

[A Former User]

window.localStorage.clear();
window.sessionStorage.clear();

и загрузить пустые куки.

[Bot_Sculptor]

@Nicolas думаешь, этого будет достаточно, чтобы подчистить профиль, чтобы сервис не спалил, что это профиль использовался под другим аккаунтом?

[A Former User]

@Bot_Sculptor сервисы разные бывают, ну еще проксю сменить и фингер поменять. В большинстве случаев этого достаточно.

[Bot_Sculptor]

@Nicolas прокси, отпечаток это понятно.
У нас тут в топике задача образовалась, экономить траф, ускорять. Вот используем нагуленный кэш профилей. Работает, берет из кэша, траф и скорость экономит.
НО раз профили будут переиспользоваться для новых созданных потоков, то нужно подчищать данные от прошлого потока (сессии). Для этого, в начале работы потока, перед подключением профиля из прошлого потока, я удаляю файлы/папки (список выше под спойлером), которые косвенно могут выдать сервису, что профиль использовался уже другим потоком (аккаунтом). Ну пока все работает, как и предполагалось, кручу-верчу тестирую.

[A Former User]

@Bot_Sculptor said in Очистить кэшированные данные по маске URL:

Вот используем нагуленный кэш профилей. Работает, берет из кэша, траф и скорость экономит.

По кэшу как раз спалить тоже можно, но может с вашим сайтом и пролезет.

[Bot_Sculptor]

@UserTrue ага, тоже об этом мысли были сразу, но решил тестануть , а то прокси дорогие, а там будет видно банит или нет. Пока вроде все ок

[A Former User]

@UserTrue Даже гугл не палит, не знаю какие у вас замороченные сайты по кешу палят ....