@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Здравствуйте в ближайшее время можно ждать какое то значимое большое обновление?
-
@FastSpace ну че ты такой писсимист :) - пусть ждет, надеятся и верит :) это скорее со стороннего форума человек, там принято душу потравить будущими супер версиями.
Да и вообще, у тебя с этими эмуляторами путное что-нить получилось ? Мне кажется пока сыро и дорого...
Вон как бы тебе сказал @UserTrue - websoket и запросы рулят. Благо в этом кроме него мало кто, что понимает и хочет разбираться 🤗 -
@Bigma получилось. Настоящий браузер (всё кроме хрома) + VPN с модема.
Утечек по браузеру минимум, по VPN их нет, quic, WEB RTC, UDP, UDP для web RTC всё это работает
Осталось это автоматизировать.
Автоматизацию мне скинули кучу с гитхаба решений, надо тестить. Часть модулем можно с форума. -
@FastSpace said in Здравствуйте в ближайшее время можно ждать какое то значимое большое обновление?:
Настоящий браузер (всё кроме хрома
Вот это не понял, так хром или нет?
Ну и как в том анекдоте, а теперь пристегнитесь, попробуем со всей этой хернёй взлететь...
-
@Bigma said in Здравствуйте в ближайшее время можно ждать какое то значимое большое обновление?:
@FastSpace said in Здравствуйте в ближайшее время можно ждать какое то значимое большое обновление?:
Настоящий браузер (всё кроме хрома
Вот это не понял, так хром или нет?
Ну и как в том анекдоте, а теперь пристегнитесь, попробуем со всей этой хернёй взлететь...
Лучше хромиум браузеры (Опера, Яндекс браузер и т.д.), а еще лучше Firefox. Там минимум фингерпринта.
А если нет желания парится с фингерпринт прямо Brave мобильный ставь.
еще смотря для каких задач. Для ПФ понятно, что надо исключить яндекс браузер, для реги гугл аков хром и т.д. Кому принадлежит браузер, его сервисы не крутит через этот браузер -
@FastSpace ну это и так было понятно, хотя смотря для чего - яндекс браузер для яндекса одно.
Ну да ладно, а с хромом все так же печально ?И по цене ресурсов то как получается ? А то может поиграться то и прикольно, а вот в пром масштабах - печалька ...
Ведь всегда есть вопрос цены.
-
@Bigma said in Здравствуйте в ближайшее время можно ждать какое то значимое большое обновление?:
@FastSpace ну это и так было понятно, хотя смотря для чего - яндекс браузер для яндекса одно.
Ну да ладно, а с хромом все так же печально ?И по цене ресурсов то как получается ? А то может поиграться то и прикольно, а вот в пром масштабах - печалька ...
Ведь всегда есть вопрос цены.
По ресурсам конечно заранее, например из 3372 у меня не получилось VPN сделать. Только если он в кинетике, в этом роутере прямо из коробки Wireguard можно прокикнуть на эмулятор.
Эмулятор жрет больше CPU и GPU, раза в 4. Однако не забывай, что у тебя настоящий браузер и настоящее интернет соединение, КПД будет в разы больше чем у BAS. Жор ресурсов это не проблема.
-
@FastSpace фиг его знает, под задачу конечно надо смотреть, но спасибо что делишся опытом.
-
@FastSpace уже не плохо, но у меня с басовскими профилями не сильно лезут если подшаманить. А вместо, одного сервера - 4 это уже экономика. Но я не спорю, есть наверное и плюсы, надо на пальцах считать...
-
@Bigma said in Здравствуйте в ближайшее время можно ждать какое то значимое большое обновление?:
@FastSpace уже не плохо, но у меня с басовскими профилями не сильно лезут если подшаманить. А вместого одного сервера - 4 это уже экономика. Но я не спорю, есть наверное и плюсы, надо на пальцах считать...
Если тебе под ПФ, наверняка там надо меньше времени надо будет греть и быстротоп будет работать.
Сервера покупные не подойдут для этого дела, только самому собирать, иначе жор будет не x4. Всякие хецнеры собраны от пезды. Я как-то глянул, что под капотом там через аиду, там всё самое дешманское и процессор:) -
@FastSpace слово наверное, ещё требует уточнения.
Ладно, я спать, и вам хорошего...
