Есть сайт. Сам по себе мало весит но при его загрузки он инициирует загрузку по ссылке двух .js. Из-за того что сайт делает обфускацию кода два этих .js весят по несколько МБ каждый. Что сразу же сжирает весь дорогой мобильный трафик. Если их запрещать по маске сайт грузиться не будет они важны для него. Если загрузить страницу на одном айпи а потом уже подключить прокси, тоже не сработает при каждом обновлении он инициирует проверку и дальше уже в вебсокете тоже проверяет прокси и т.д Собственно вопрос возможно ли технически сделать запрос на 15 кб но не загружать от него ответ на 4мб. Или тогда также загрузка будет прерывается и это никак не обойти в любом случае надо грузить эти сотни строк кода пустого
@stell1 said in Не загружать входящий трафик:
Есть сайт. Сам по себе мало весит но при его загрузки он инициирует загрузку по ссылке двух .js. Из-за того что сайт делает обфускацию кода два этих .js весят по несколько МБ каждый. Что сразу же сжирает весь дорогой мобильный трафик. Если их запрещать по маске сайт грузиться не будет они важны для него. Если загрузить страницу на одном айпи а потом уже подключить прокси, тоже не сработает при каждом обновлении он инициирует проверку и дальше уже в вебсокете тоже проверяет прокси и т.д Собственно вопрос возможно ли технически сделать запрос на 15 кб но не загружать от него ответ на 4мб. Или тогда также загрузка будет прерывается и это никак не обойти в любом случае надо грузить эти сотни строк кода пустого
скопируйте код из файла и загрузите его сами через действие "Яваскрипт"
@Fox Я выполняю этот код перед тем как загрузить сайт. Следующее действие "Загрузить сайт" и этот код опять будет загружен по ссылке. Даже если я уже авторизовался на сайте потом обновил страницу, авторизация сразу сброситься и эти js Будут грузиться и авторизация проходить заново. Вообщем там при любом обновлении сайта сессия сбрасывается создаётся новый веб сокет с уникальной ссылкой и т.д
@stell1 said in Не загружать входящий трафик:
@Fox Я выполняю этот код перед тем как загрузить сайт. Следующее действие "Загрузить сайт" и этот код опять будет загружен по ссылке. Даже если я уже авторизовался на сайте потом обновил страницу, авторизация сразу сброситься и эти js Будут грузиться и авторизация проходить заново. Вообщем там при любом обновлении сайта сессия сбрасывается создаётся новый веб сокет с уникальной ссылкой и т.д
Запрещайте загрузку файла по маске ссылки и попробуйте загрузить его через "Яваскрипт" или "Выполнять при каждой загрузке страницы в браузере"
@stell1
тс а ты просто сохранять кеш не пробовал и загружать сайт уже с готовой папкой с кешем?
бас по умолчанию не сохраняет его и нигде особо про это не написано как этой менять, я вот несколько дней бегал с этим вопросом зато теперь трафф упал в 6 раз. посмотри в соседних темах обсуждение если хочешь так попробовать.
@Fox said in Не загружать входящий трафик:
Запрещайте загрузку файла по маске ссылки и попробуйте загрузить его через "Яваскрипт" или "Выполнять при каждой загрузке страницы в браузере"
вот это интересно, завтра попробую.
у вот меня сейчас стоит вопрос можно ли как-то какую-то часть скриптов на странице(2-3шт) загружать с одной прокси, а все остальные - с другой, или хотя бы просто без прокси, напрямую под впн? стандартными средствами баса наверное нет, а как можно, кроме того метода что сергей писал "через пару своих серверов и три своих прокси", ченить полегче? слышал какойто fiddler - он такое не делает? пока руки не дошли до тестов, с клаудфлер воюю второй день)..
@basuser123 Он и в обычном браузере при обновлении страницы создаёт сразу новую авторизацию и новый коннект к веб сокету поэтому это не то вообще
Fiddler снифает трафик он тут никак не поможет
Грузить два ява скрипта по 4мб каждую секунду тоже такое себе уже на 30 потоков там проц под 100% на выделенном сервере
Остаётся только безлимитные прокси искать нормальные
@stell1 said in Не загружать входящий трафик:
Грузить два ява скрипта по 4мб каждую секунду тоже такое себе уже на 30 потоков там проц под 100% на выделенном сервере
Остаётся только безлимитные прокси искать нормальные
Способов решения твой проблемы не один. Один из них это делать свою папку кэша для браузера для каждого потока. Другой это пускать трафик на статичные файлы через дешевый прокси, а остальной через дорогой.
Все это на форуме обсуждалось множество раз и приводились конкретные способы реализации вариантов.
@sergerdn Что касается кэша и папок я знаю. Но как я писал выше даже на обычном браузере хром при каждом обновлении страницы инициируются эти два запроса js и потребляют трафик проверял через wireshark. Если страницу не обновлять websocket соединение ничего сделать не даст оно будет показывать предыдущий ip прокси (потерю коннекта) и просто не пускать пока не обновишь страницу. А при обновлении страницы новый логин, новая ссылка веб сокет, новая загрузка этих двух js и т.д
По поводу второго решения я так понял там готовых решений нет. Всё что я нашёл на форуме по поиску это вот эти ваши ответы, то что вы так делаете и то что это обсуждалось на форуме. Но где это обсуждалось и как нигде нет
@sergerdn said in Локальный кэширующий прокси-сервер с выходом в инет через внешние прокси:
Что-то обсуждалось на форуме как экономить трафик, что-то писал в том числе я.
Кэшировать не советую, так как https. Только распределение трафика - через дешевые прокси идет трафик на картинки и тому подобное, остальной трафик идет через дорогой.
Готового ready-to-use решения нет, надо пилить самому. Без опыта запилить будет сложно.
@sergerdn said in Требуется настроить кеширование на сервере мобильных прокси:
На форуме несколько раз обсуждалось, как можно экономить трафик дорогих прокси. В том числе писал что-то и я.
Обсуждалось как это делать не на стороне прокси, а на стороне браузера.
@sergerdn said in Как раскидать кеш в Профиля:
Есть варианты, которые обсуждались на этом форуме, В том числе я сам давал примеры реализации.
Варианты:
Подготовить профиль-образец, прогреть на нем файловый кэш, очистить кукисы, local storage, etc . В дальнейшем копировать прогретый профиль, а не создавать новый. Сам не делал, так как могут быть нюансы в зависимости от ресурса.
Сделать распределение трафика в зависимости от типа сетевых запросов. Например, все картинки грузить через дешевый прокси, а остальное через дорогой. Я сам так делаю давно и успешно.
@sergerdn said in Kasada анти-бот анти-фрод:
Отвечу немного не по теме:
Обычно я провожу распределение трафика, если использую браузер, когда одни запросы идут через дешевые прокси, а другие через дорогие. Это позволяет экономить до 30-40% трафика.
По деньгам легко рассчитать, если, допустим, дешевые прокси стоят $1 за гигабайт, а дорогие до $30. Можно таким образом кучу денег сэкономить.
вопрос ребром - а такую фичу технически возможно запилить разрабу в самом басе? я думаю там легко и просто должно быть решение, типа "прокси-профилей"[через которые проксифицируется траффик], например на один профиль вешается дорогая прокся и через него пускается все что надо по маске, а через второй "профиль" все остальное
или еще проще, ничего не меняя сильно как сейчас оставить установку прокси в систему, только добавить вариант - доп прокси-профиль, которым проксифицировать уже выбранную маску при загрузке. получится вешаешь дешевую проксю на весь бас, а дорогую - уже таргетировано на те маски которые необходимы
чото мне кажется это реализуемо и надо попробовать попинать разраба. скажите ему что у чата жпт мы в ручную можем спросить что надо, темболее он пока еще сырой, как пятая версия выйдет то может получше будет код помогать генерировать, а сейчас бы более нужные фичи добавить)
ставишь минус втихаря так пиши нормально что не так
я предлагаю какие-то идеи, которые мне кажется во первых реализуемы и во вторых часто могут быть нужны в каких-то случаях
и да, я согласен что могу быть не прав
не ошибается тот кто ничего не делает
критика должна быть конструктивная, а не вот это все- "вы все дебилы а я молодец"
@basuser123 said in Не загружать входящий трафик:
ставишь минус втихаря так пиши нормально что не так
Это не я если что ))
Думаю ваши идеи уже кому-то надоело читать )) Вы можете их с тем же успехом писать чату GPT, я думаю вы с ним хотя бы сможете поговорить об этом. Разработчик не читает форум, а даже когда удается его поймать в теме и написать что-то то ему глубоко фиолетово на все хотелки, он реагирует только на утечки анонимности и критические баги. В остальном у него свой только ему известный план развития.
@basuser123 Раньше в бас так можно было, когда сам бас проксировал каждый запрос. Потом вроде бас перешел на проксирование через proxifier, до какой то версии можно было выбрать какой тип использовать, со временем старый вариант выпилили. Когда то я спрашивал разраба можно ли вернуть маски, он ответил что такой возможности нет
@UserTrue
ну может когда-нибудь его переклинит и он решит почитать чо пишут и чего-нибудь исправить или добавить)
темболее вон раньше такое было, может он просто не понял для чего сейчас это может быть нужно
я просто тут недавно и все еще верю))
ну или как вариант какому-нибудь рандомному писателю модуля понравится и он захочет сделать реализацию..
как-то так,. пойду работать дальше вобщем)
@DrPrime said in Не загружать входящий трафик:
Когда то я спрашивал разраба можно ли вернуть маски, он ответил что такой возможности нет
BAS использует библиотеку для проксирования, в которой есть эта возможность, несмотря на то, что библиотека очень древняя.
