@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Видеоплеер в Ютубе Зависает при большом количестве потоков
-
Здравствуйте, столкнулся с проблемой , что при воспроизведении видео в ютуб 25+ потоков , сам видеоплеер начинает зависать . Прогресс бар показывает, что видео загрузилось, а на самом видео появляется кружок (и вылезает ошибка от ютуба, "испытываете неудобства?"). При этом система загружена на 50-60%, процессор 50%, Оперативка 60%, ССД процентов 20%, видеокарта 50%. Как можно решить данную проблему?
Интернет 600 мбит, прокси Гигабитные.Пример зависания :
-
@sayfeejunior можно изучить нагрузку на сеть и на ваши прокси.
-
@DuckDuck по нагрузке на сеть ошибок нет, линия 600 мбит, и прокси гигабитные, Само видео прогружается в кэш (Серая линия прогресс бара)
-
@sayfeejunior что значит 600 мбит прокси ? где вы такие нашли ? а коннектов сколько на проксях лимитированно ?
-
@DuckDuck это ipv6, пока на тесте и без лимита tcp подключений, через speed test показывает 600 мбит
-
@sayfeejunior ну тогда вероятно вы ложите локальный прокси сервис - ну тот который вам раздает это дело, его тоже легко положить.
-
@DuckDuck обсуждали с поставщиком, проблем нет, будто что-то на уровне хрома происходит, так как видео грузится моментально и до конца (серый прогресс бар)
-
@sayfeejunior ну логика дебага такая - снижаем колличество потоков скажем до 3 - норм, добавляем, если и дальше норм ... короче ищем придел, начинаем смотреть где затык - смотрим фин вейты - , смотрим на статистику проксика ... делаем выводы.
-
@DuckDuck при количестве 25 потоков проблем не возникает ( нагрузка на систему минимальная)
-
@sayfeejunior вы меня не слышите, проблема не в системе, а в сетевом стеке - либо забит канал на локальной машине, либо, с ним не справляется ваш прокси.
-
@sayfeejunior возможно упёрлись в лимит открытых tcp сокетов для ОС, на форуме есть тема по настройке https://community.bablosoft.com/topic/17458/оптимизация-ос-под-многопоточность?_=1689565775790
-
а может количество памяти видеокарты на это влиять?
-
@sayfeejunior не влияют - они же у вас не оверхед.
-
@sayfeejunior тогда попробуйте без прокси
-
@UserTrue said in Видеоплеер в Ютубе Зависает при большом количестве потоков:
@sayfeejunior тогда попробуйте без прокси
ютюб скорее всего заблочит, хотя ...
-
@DuckDuck я запускал около 50 потоков
