@basuser123 said in Очистить кэшированные данные по маске URL:
вчера запустил тестовый варик с кешем в постоянные профили, прокачал сутки, выводы мне немного не понравились и я сел разбираться уже детально в чем дело.
берем обычный хром, открываем страницу полностью, с отключенным кешем - 1,5 мега
включил кеш, закрыл, открыл браузер - загрузил опять эту же страницу - 120кб
хорошо. тоесть ожидаем от БАС+постоянные свои профили примерно тогоже результата. но на деле получается так - страница, которая уже открывалась из этого профиля и должна загружаться на пару сотен кб макс, грузит все 1,5мега
а причина, как я понимаю в этом: (просто перезагружаем страницу, без закрытия\открытия браузера):
проблемы 2 -
- кеш почемуто записывается в память, а не на диск. и это видно по папке профиля - при загрузке страницы там ничего особо не добавляется, никаких точно дополнительных пары мегабайт точно нет.
поэтому я опять же возвращаюсь в вчерашнему моему вопросу - как сохранять кеш по максимуму, и на диск, а не в память?- хотелось бы получать примерно одинаковые результаты в сравнении с обычным хромом и басом в плане загруженной инфы, когда будет работать с кешем. т.е. если хрому достаточно загрузить 120кб, то почему басу в той же ситуации надо загружать 600кб?
п.с. со вторым сайтом примерно тоже самое:
Ну во первых я бы не доверял вкладке "network" в фаербаге BAS, она может врать. Этот инструмент был добавлен только из за вкладки "elements" для работы с кодом страницы.
Во вторых BAS использует браузер Chromium, а не Chrome. Логично было бы сравнивать размеры профилей именно с Chromium.
Исходя из второго пункта для использования кэша по максимуму в BAS подойдут советы по использованию кеша по максимуму в Chromium:
да эти настройки я смотрел - в басе вобще не сохраняется кеш в папку, не знаю вообще или по умолчанию. пока решение не нашел, сбрасывал в заводские настройки, все что можно потыкал - нет. думаю может саппорт что-то знает больше на этот счет, подождем что скажет...
@basuser123 При запуске браузера, бас использует эти ключи, они отвечают за кэш
(chrome_command_line.txt в папке движка)
--disk-cache-size=1
--disable-gpu-program-cache
--disable-gpu-shader-disk-cache
@UserTrue
спасибо, поменял на 0 заработало как надо теперь!
интересно сколько еще таких спрятаных от юзеров настроек меня ждет в дальнейшем? ))
@Bot_Sculptor said in Очистить кэшированные данные по маске URL:
Вот на счет его. Если использовать профиль заранее подготовленный (болванка), где уже скрипт походил по нужным страницам, насобирал кэш. Очистить профиль от кук и использовать дальше в других потоках.
Перед запуском браузера, переключится на такой профиль.
Правильно ли я "надеюсь", что кэш будет использоваться из профиля-болванки и таким образом я буду экономить трафик, быстрее будет прогружаться контент?
этот варик нормальный, я сейчас довел до ума свой скрипт он запускает в тех же папках с сохраненным кешем - траффик упал в 6 раз и скорость поднялась в 2 раза, збс)
у меня вопрос к тебе ты решил вопрос с удалением куков и localStorage? я вижу что можно сделать это двумя путями - руками если 1 раз, и потом копировать эту папку, но это немного напряжно будет компу, пытаюсь оптимизировать. думаю что ходить по кругу по тем же самым папкам профилей, но с удаленными после предыдущего потока куками и localStorage будет намного быстрее, т.к. это разовый заход и мне от него не нужно ни профиля ни куков
поэтому я пока рассматриваю вариант очистки куков и localStorage после каждого потока завершения или при запуске нового потока.
куки можно удалять тупо файл и localStorage чистить тупо командой localStorage.clear();
но стало интересно может в стандартных настройках баса можно это делать просто одной настройкой.
пока нашёл такое, что не подходит потому что он также пытается удалить кеш, что мне не подходит:
вот интересно если сталкивался с этим вопросом то есть там стандартное решение, если нет тогда буду удалять отдельно файлы куков и отдельно чистить localStorage
добавлено
нашел такой пост
@uraabk said in Как очистить куки:
@refnik said in Как очистить куки:
Надо очистить куки с одного сайта,а не выполнять сброс всего браузера.Подскажите,как это сделать?
Действие Загрузить cookies, пустое.
пытаюсь протестить действительно ли такое прокатит, но пока не могу найти файл куков
E:\1\Default\Network\Cookies
похоже не он, или куки туда не пишутся. захожу в профиле на разные сайты - этот файл не обновляется. пока в поисках))
после этого вопроса перейду к localstorage и как его очистка работает, и работает ли)
добавлено
сделал эксперимент после закрытия браузера поставил паузу 2 минуты, после этого поставил команду
Действие Загрузить cookies, пустое.
после этого еще ждать 2 минуты и завершать поток.
и дейтсвительно файл E:\1\Default\Network\Cookies обновился через 2 минуты, значит действительно куки лежат в нем и возможно даже такая схема с очисткой профиля от прошлых кук работает
проверил локалстордж - тоже нормально очищает эта яваскрипт команда
@basuser123 said in Очистить кэшированные данные по маске URL:
этот варик нормальный, я сейчас довел до ума свой скрипт он запускает в тех же папках с сохраненным кешем - траффик упал в 6 раз и скорость поднялась в 2 раза, збс)
у меня вопрос к тебе ты решил вопрос с удалением куков и localStorage? я вижу что можно сделать это двумя путями - руками если 1 раз, и потом копировать эту папку, но это немного напряжно будет компу, пытаюсь оптимизировать. думаю что ходить по кругу по тем же самым папкам профилей, но с удаленными после предыдущего потока куками и localStorage будет намного быстрее, т.к. это разовый заход и мне от него не нужно ни профиля ни куков
поэтому я пока рассматриваю вариант очистки куков и localStorage после каждого потока завершения или при запуске нового потока.
привет. Да, я все также примерно сделал. Тоже трафика жрать стало в 5-6 раз меньше, из кэша на диске берет.
У меня болванки заготовлены уже с очищенными cookies, localStorage лежат на RAM диске. Каждый поток берет болванку копирует в новый профиль и работает с ним, дальше просто удаляет. Поскольку на RAM диске, то все быстро. Но это все пока в тестовом режиме.. просто чтобы проверить догадки, а там может будет уже улучшатся.
up: еще папку IndexedDB удалить
и куча остального (кроме кэша), вот список того, где упоминается сайт с которым идет работа, хз как оно влияет на паливо, если это оставить, скорее всего не особо, но от сервиса зависит
window.localStorage.clear();
window.sessionStorage.clear();
и загрузить пустые куки.
@Bot_Sculptor сервисы разные бывают, ну еще проксю сменить и фингер поменять. В большинстве случаев этого достаточно.
@Nicolas прокси, отпечаток это понятно.
У нас тут в топике задача образовалась, экономить траф, ускорять. Вот используем нагуленный кэш профилей. Работает, берет из кэша, траф и скорость экономит.
НО раз профили будут переиспользоваться для новых созданных потоков, то нужно подчищать данные от прошлого потока (сессии). Для этого, в начале работы потока, перед подключением профиля из прошлого потока, я удаляю файлы/папки (список выше под спойлером), которые косвенно могут выдать сервису, что профиль использовался уже другим потоком (аккаунтом). Ну пока все работает, как и предполагалось, кручу-верчу тестирую.
@Bot_Sculptor said in Очистить кэшированные данные по маске URL:
Вот используем нагуленный кэш профилей. Работает, берет из кэша, траф и скорость экономит.
По кэшу как раз спалить тоже можно, но может с вашим сайтом и пролезет.
@Nicolas said in Очистить кэшированные данные по маске URL:
@UserTrue Даже гугл и палка не палит, не знаю какие у вас замороченные сайты по кешу палят ....
это отличная новость. Потому что я вот чуток потестил уже эту экономию трафа с кэшем и это нечто!) В разы, бывает(сейчас именно так на моем реальном практическом использовании) и в 30 раз экономит трафик, просто ВАУ. ну и скорость понятно растет.
@FastSpace и много у тебя своих прокси в usa или в индии ?
@Nicolas said in Очистить кэшированные данные по маске URL:
@UserTrue Даже гугл и палка не палит, не знаю какие у вас замороченные сайты по кешу палят ....
Я сказал, что это возможно но конкретный сайт может это не проверять. А так тут никто ничего не палит, а потом появляются темы помагите, сайт палит бас ) И в лс начинают наебывать помоги за денюшку xD
@FastSpace said in Очистить кэшированные данные по маске URL:
Экономить трафик надо на стороне прокси, тогда поепать на кэш в профиле.
ох уж эти ребусы вечные ))
опять ниче не понятно но очень интересно)))
@basuser123 said in Очистить кэшированные данные по маске URL:
ох уж эти ребусы вечные ))
опять ниче не понятно но очень интересно)))
Да тут уже писал @sergerdn варианты, самый разумный разруливать трафик на промежуточном своем прокси и запросы к api и страницам сайта пускать через дорогие прокси, а запросы за статикой типо картинок, стилей и шрифтов через простые прокси
