При продолжительной работе скрипта скрипт в какой то момент ломает интернет на сервере с основного ip
Работа с сетью продолжается только через проксирование, основной айпи просто с сетью работать перестает, бесконечный таймаут
Раньше просто проксировал и хттп клиент, и браузера без проверки внешнего айпи(потому что при проверке внешнего айпи запрос не дойдет и будет ошибка).
Но сейчас даже с проксированием браузера все плохо
Произошла ошибка : Таймаут во время выполнения LoadPage
При этом интернет все так же с http клиентом который под проксей работает, и старые потоки с браузерами так же нормально работают..
Может кто сталкивался с такой проблемой, windows server от hetzner (у AWS вроде тоже такая проблема была)
Перезагрузка сервера проблему снимает, в тех поддержке хетзнера говорят что интернет с их стороны работает без проблем, это у вас что то не так с софтом..
@Metaferssance Возможно эта тема поможет https://community.bablosoft.com/topic/17458/оптимизация-ос-под-многопоточность
@UserTrue Ого, спасибо, благодарю.
UPD: После перезагрузки с пуска при подключении к серверу теперь так вообще ping на сервере не работает.
Перезагрузка оборудования только помогает.
Спасибо за статью, посмотрю что там творится под нагрузкой, хотя проблема даже не пропадает когда выключаю полностью скрипт и жду таймаут запросов, попробую.
@Metaferssance said in Бас ломает интернет на сервере:
@UserTrue Ого, спасибо, благодарю.
UPD: После перезагрузки с пуска при подключении к серверу теперь так вообще ping на сервере не работает.
Перезагрузка оборудования только помогает.
Спасибо за статью, посмотрю что там творится под нагрузкой, хотя проблема даже не пропадает когда выключаю полностью скрипт и жду таймаут запросов, попробую.
Может просто локальные порты кончаются. Надо смотреть логи.
https://docs.microsoft.com/en-us/windows/client-management/troubleshoot-tcpip-port-exhaust
@Metaferssance у меня такая же проблема, отпишите пожалуйста потом как решили эту проблему. На 23.2.2 этого не было
@UserTrue said in Бас ломает интернет на сервере:
https://community.bablosoft.com/topic/17458/оптимизация-ос-под-многопоточность
Из этой статьи ввел команду 
(в это время интернет на сервере все так же в лежачем положении, никакой запрос от основного айпи не дойдет, но очереди нет..) Потоки с http клиентом под проксей все так же хорошо получают и принимают запросы
В итоге показало 0
Не знаю, в недостатке портов ли эта проблема, сейчас буду вводить все команды из списка, посмотрю что будет завтра
Скрипт если что запустил на 300 потоков работы с браузером и постоянным приемом пакетов, и буквально пару часов и все крякнулось, с 250 потоками такое редко случалось
UPD: На win2019 все сделал, практически все команды прописались, не стал отключать фильтрацию фаерволом, все остальное сделал.
Если не поможет то посмотрим вариант от @sergerdn
Не помогла 1 статья, хотя надежды были, в данный момент сервер в отключке после 300 потоков работы
Если у кого-нибудь есть решение(даже платное) то отпишите
@Metaferssance Проще сисадмина найди/найми
@Metaferssance said in Бас ломает интернет на сервере:
Не помогла 1 статья, хотя надежды были, в данный момент сервер в отключке после 300 потоков работы
Если у кого-нибудь есть решение(даже платное) то отпишите
Логи сервера что говорят? В Windows логи пишутся пачками.
@Metaferssance возможно это всё-таки ограничения со стороны поставщика серверов. У меня было подобное на моем домашнем серваке, маршрутизатор провайдера решил, что это какой-то сетевой спам и порезал мне скорость почти до нуля, пришлось звонить в офис ))
@gurkin4 В ТП хетзнера говорят что у них все норм, но возможно да, защита такая от ддоса у них, но они ничего не говорят и никак помочь не хотят.
А уменьшить потоки? Ну это не выход ведь) Я хочу использовать 100% мощности сервера
Но видимо со след месяца придется покупать менее мощные дедики, но пару штук, вместо одного мощного
@UserTrue Насколько я помню, на AWS у меня случалась та же самая фигня, навряд ли у 2-х таких разных поставщиков серверов могут возникать одинаковые ограничения.
250-300 поток браузера с потоковым видео - до свидания, перезапускайте сервер. я усталь.
@olegar 128 гб оперативы, руйзен 9 3900 (12/24)
Без проблем тянет и твич и ютуб в потоковом вещании видео в 300 потоков, просто нужны некоторые надстройки и тесты длиною в месяца, которые сильно уменьшают нагрузку на цп, в итоге получается что больше всего загружена оператива, и вот ее действительно бы не помешало больше, т.к цп загружен на 70% макс, а 128 гб иссякает при 300 запущенных браузерах
Но куда там больше, если интернету не нравится когда 300 потоков постоянно отправляют и получают запросы, при этом еще и держат активные соединения
@olegar said in Бас ломает интернет на сервере:
Блин, это что за сервер такой, который может тянуть 300 потоков? Да еще с потоковым видео.... Я однозначно чем то не тем занимаюсь....
Мобильные браузеры много не кушают.
@Metaferssance said in Бас ломает интернет на сервере:
@olegar 128 гб оперативы, руйзен 9 3900 (12/24)
Но куда там больше, если интернету не нравится когда 300 потоков постоянно отправляют и получают запросы, при этом еще и держат активные соединения
Это называется лимит TCP/IP подключений на основное LAN соединение за определённое время, этот лимит ставит провайдер на своей стороне. С этим ты ничего не сделаешь, как хецнеры потому что в дата центре им провайдер скорее всего не принадлежит.
Есть вариант взять сервер с 10 ГБ LAN, там этот лимит явно выше, чем у 1 ГБ. Ну или дробить много мелких.
@UserTrue said in Бас ломает интернет на сервере:
@Metaferssance возможно это всё-таки ограничения со стороны поставщика серверов. У меня было подобное на моем домашнем серваке, маршрутизатор провайдера решил, что это какой-то сетевой спам и порезал мне скорость почти до нуля, пришлось звонить в офис ))
Имено так и есть, у обычного 100 мб провайдера вообще печаль лимит :( пришлось базу MYSQL ставить везде локально и запросы к ней идут по локалке
тоже заметил какие то косяки.
не похоже, что дело в скрипте. до версии 24.6.1. все было приемлемо.
думаю даунгрейднуться с 24.6.1 до 24.5.1 (уже сделал ; если через пару дней не будет шатдаунов, то все ок)
скрипт работал в 25 потоков, ресурсов пк начинает не хватать только после 35-ти.
через vnc видел сообщение на синем фоне (blue screen) об отправке репорта в майкрософт. ошибка : system service exception
os: windows 2019
инфа из дампа через bluesceenviewer:
address in stack: ntoskrnl.exe+1c9ae9
from address: fffff807`0c61d000
to address: fffff807`0d088000
