Bablosoft

Node Js таймаут в многопотоке!

Поддержка

  • P

    в чем прикол функции в многопоток

    Поддержка
    0 Votes
    6 Posts
    822 Views
    P

    @Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
    Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
    Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
    Логика такова:
    1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
    2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
    3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
    4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
    -Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
    -Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
    -Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(

  • mocardM

    Слетают модули node.js при запуске другого проекта в режиме записи.

    Поддержка
    0 Votes
    2 Posts
    355 Views
    FoxF

    @mocard said in Слетают модули node.js при запуске другого проекта в режиме записи.:

    Добрый день!
    После запуска нового скрипта с одним модулем node.js версии 18, предыдущий скрипт с пятью модулями node.js той же версии перестает корректно работать.
    В первом скрипте отображается только один модуль из нового скрипта, при этом пять исходных модулей исчезают.
    При попытке перезапустить первый скрипт, ситуация не меняется в нем уже только 1 модуль из нового запущенного скрипта.

    Выходит так что при запуске в режиме записи нового кода те модули которые стоят в нем заменяются в остальных проектах.

    Не открывайте несколько инстансов BAS из одной директории

  • llimonixL

    Почему в бас не пролетает пост запрос, а в питон все окей

    Поддержка
    0 Votes
    13 Posts
    1119 Views
    T

    Сделай в питоне:

    print(r.request.headers)

    чтобы получить заголовки и попробуй их передать в басе. Недавно такая же проблема была, что сервер ничего не отдает. Решилось передачей заголовков Accept-Encoding и connection: keep/alive.

  • ediczrE

    Node.js подключение модуля OCR.

    Поддержка
    0 Votes
    6 Posts
    1885 Views
    FoxF

    @stevenr2214 said in Node.js подключение модуля OCR.:

    @Fox could you explain how we could go about this please

    In 2018, I used a website that allowed me to upload an image to it and recognize it for free. I repeated browser requests in the BAS http client and solved the text for free. But more than six years have passed, that site has not been working for a long time, now you can find other ways to recognize the text.

  • CaptchaLomC

    Как выводить в лог ресурсы при ошибочных потоках? или как сохранять переменные в ошибочных потоках

    Поддержка
    0 Votes
    2 Posts
    1192 Views
    FoxF

    @CaptchaLom Смотри, поток при запуске пишет в лог данные ресурса (логин:пароль от ака), скрипт работает, потоки переодически падают. Включаешь фильтр лога, там выбираешь fail и видишь какие потоки упали. Затем вводишь фильтр по потоку и видишь какие данные аккаунта он брал последним.

    Либо сделать три ресурса(1-общий, 2-неудачный, 3-удачный). При запуске скрипта поток берёт из 1-общего ресурса строку и сразу записывает в 2-неудачный ресурс. В конце, после удачной регистрации берёт данные из 2-неудачного ресурса и записывает в 3-удачный. Так как данные не копируются, а переносятся, в случае если поток упадёт до переноса данных в 3-удачный ресурс, они останутся во 2-неудачном. Который можно будет посмотреть.