Connection pool - оптимизация работы сети



  • Дано:
    Прокси с ограниченным количеством подключений - стандарт 50 коннектов.
    Заметил такой момент работает две программы через одни и те же прокси.
    Одна стороннего производителя и бас.
    У стороннего много потоков и увеличение их особо не сказывается на сети.
    Запуск же баса небольшим количеством потоков резко тормозит всю работу с прокси. Возникают задержки.
    на графике это видно вот так примерно:
    Screen Shot 2020-07-03 at 13.31.46.png
    В серединке был запущен бас в 12 потоков. Причем бас не обращается к этому сайту. Он работает с другими сайтами. Но как только он начинает работать вижу просадки.

    В басе максимально оптимизирована работа с сетью, то есть отключено все что возможно, и картинки и джсы и видео и все остальное. То есть по идеи сбрасываются все лишние коннекты. Но толи они не закрываются. Толи еще что.

    Собственно и вопрос, возможно стоит подумать об оптимизации коннектов. Вроде это называется Connection pool. @support



  • @Bigma said in Connection pool - оптимизация работы сети:

    Одна стороннего производителя

    Возможна она работает без браузера. 50 коннектов это для браузера не о чем.



  • Может просто прокси такие не покупать, резидентные с лимитом соединений и трафиком - это только Post/Get



  • @UserTrue работает с браузером в 42 потока.
    50 коннектов это стандарт на шаред мобильных прокси. У меня их несколько.
    И собственно они вывозят. Уменьшал сторонний до 24 и те же 12 на басе включаю, и такая же картина, просадка по сети. Убираю бас, оставляю 42 стороннего и все норм. Вот щас проверил, бас выключил пару часов назад и все нормализовалось на 42 потоках стороннего.
    Screen Shot 2020-07-03 at 15.43.29.png



  • Собственно мой пост наверное больше для разработчика. Если есть такая возможность покетировать соединения, чтоб укладываться в ограничения. Собственно это и есть Connection pool



  • @Bigma можешь использовать что то между прокси сервером и BAS, что возьмет на себя регулирование трафика/соединений



  • @tet-vivi как ты себе это представляешь ?
    Да и собственно я завел этот топик, так как это проблема вроде как решаемая, и сторонний софт (который нельзя называть) с ней справляется методом озвученным в заголовке.



  • @Bigma said in Connection pool - оптимизация работы сети:

    Да и собственно я завел этот топик

    Зря потратил время xD



  • По умолчанию у той проги настройки такие
    <add key="zl-max-sockets-per-pool" value="256" />
    <add key="zl-max-sockets-per-group" value="6" />
    <add key="zl-max-sockets-per-proxy" value="32" />
    <add key="zl-max-sockets-per-pool-ws" value="256" />
    <add key="zl-max-sockets-per-group-ws" value="255" />
    <add key="zl-max-sockets-per-proxy-ws" value="32" />
    <add key="zl-used-idle-socket-timeout-s" value="300" />
    <add key="zl-unused-idle-socket-timeout-s" value="10" />
    <add key="zl-close-idle-connection-interval-s" value="0" />

    zl-max-sockets-per-pool - количество соединений на пул (в браузере работает несколько пулов, общих для всех вкладок)
    zl-max-sockets-per-group - количество соединений на домен
    zl-max-sockets-per-proxy - количество соединений на прокси
    zl-max-sockets-per-pool-ws - количество соединений на пул для WebSocket
    zl-max-sockets-per-group-ws - количество соединений на домен для WebSocket
    zl-max-sockets-per-proxy-ws - количество соединений на прокси для WebSocket
    zl-used-idle-socket-timeout-s - время жизни неактивного использованного сокета (секунды)
    zl-unused-idle-socket-timeout-s - время жизни неактивного не использованного сокета (секунды)
    zl-close-idle-connection-interval-s - интервал очистки неактивных сокетов (секунды)



  • @UserTrue said in Connection pool - оптимизация работы сети:

    @Bigma said in Connection pool - оптимизация работы сети:

    Да и собственно я завел этот топик

    Зря потратил время xD

    Ну может @support заглянет сюда.



  • @Bigma said in Connection pool - оптимизация работы сети:

    Если поддержите оставлю ссылку в обновлении, там он ее точно заметит.

    У него судя по всему план на долго вперед расписан, а эта фича не особо нужная как по мне.



  • @UserTrue ну почему же, мибильными проксями пользуется каждый второй, и проблема одна и та же у всех. Просто не многие понимают в чем она.



  • Возможно даже бас и так это использует, называя это туннелированием. Но тогда резонный вопрос, можно ли это как то настраивать.



  • @Bigma ну пока что можешь использовать костыль. стартуешь поток, запускаешь проксю модуля, в нем прописываешь свои прокси, цепляешься к только что созданной и радуешься жизни



  • @artihorror И что он делает и чем отличается от пути которым действует бас ?
    Собственно то что я тут озвучил, это поведение самого браузера, сколько он разрешает открыть соединений.


Log in to reply
 

  • 2
  • 8
  • 12
  • 4
  • 2
  • 6
  • 2
  • 2