Bablosoft

Лог многопоточной функции (багрепорт)

Поддержка

  • P

    в чем прикол функции в многопоток

    Поддержка
    0 Votes
    6 Posts
    1152 Views
    P

    @Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
    Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
    Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
    Логика такова:
    1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
    2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
    3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
    4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
    -Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
    -Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
    -Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(

  • ediczrE

    TaskScheduler очистка "Лог приложения" и "Лог планировщика"

    Поддержка
    0 Votes
    14 Posts
    1969 Views
    ediczrE

    Короче прогнал тесты без использования BAS TaskScheduler в системе Windows_Server-2012-R2_RTM-English-64Bit-Base с авто запуском по расписанию Windows Task Scheduler. Работает стабильно память после выполнения скрипта подчищает за собой.
    Вывод о TaskScheduler от BAS если я правильно понимаю предназначена для автоматизации работы и стабильной работы без постоянного контроля на сбои системы, на сегодня это не так, сжирает память и дисковое пространство не коретно при сбои работает. Зато мы новые "фичи" прикручиваем к ней. («это не баг, а фича»).
    С проблемами с которыми я столкнулся работая с BAS TaskScheduler:

    При сбое при недостатке памяти запуска скрипта не завершает процесс, а пытается его запустить. При чем это будет продолжиться пока пользователь не остановит процесс. (В моем случаи 4 дня пытался запустить процесс). При ошибке загрузки скрипта на запуск если произошёл сбой в загрузки и по какой-нибудь причине процесс не нагрузился в работу он будет пытаться его бесконечно загрузить в работу. (Может грузить сутками и не загрузит в работу тоже самое что и первый пункт). В планировщике задач после выполнения остаются открытые браузеры (хотя в скрипе прописано открыть и закрыть браузер). При работе 24 часа в планировщике было 16 не закрытых задач от BAS занимают место в памяти просто так. Почему съедает память и не чистит за собой, не могу понять. Может это так и должно быть это "фичи".

    Правильная работа планировщика от Windows тест после 8 часов работы.
    Screenshot_13.png

    Не правильная работа планировщика от BAS тест после 8 часов работы.
    Screenshot_14.png
    Screenshot_15.png

  • mmaxsmileM

    Вызов функции в несколько потоков (запутался)

    Поддержка
    0 Votes
    6 Posts
    1661 Views
    FoxF

    @mmaxsmile said in Вызов функции в несколько потоков (запутался):

    @Fox понял, однако вопрос немного не до конца раскрыт.
    Можно ли как то завершить именно 9 потоков Nice внутри скрипта? (не создавая лишних)

    Используйте действие "Вызов функции асинхронно" и "for"

    Потому что из идей только поставить глобальную функцию и ориентироваться по ней (добавлять +1 запущенных потоков) и отключать остатки по достижению 9, но может есть более простое решение?

    Глобальную функцию? Не уверен, что понял вас правильно, но если что в теме "лайфхаки" я выкладывал пример как можно управлять количеством потоков во время работы скрипта:
    https://community.bablosoft.com/topic/3521/лайфхаки-bas/87

  • S

    Сохранение порядка строк при многопоточной обработке

    Поддержка
    0 Votes
    5 Posts
    846 Views
    ?

    @synthex На самом деле довольно геморойная затея у вас. На nodejs например это было реализовать довольно легко, но тут вам придется хорошо раскорячится чтобы все это синхронизировать.

  • S

    Bas вылетает при функции OnApplicationStart

    Поддержка
    0 Votes
    3 Posts
    1437 Views
    R

    @support project.xml
    Вставить нужно файл .txt