Управление компьютером при помощи BAS



  • Достаточно часто возникает задача по управлению при помощи BAS компьютером и программами в нем. В данном материале я обзорно дам информацию по бесплатным решениям этой задачи. Указанные методы можно комбинировать друг с другом. Если у Вас есть какие-либо замечания, добавления, буду благодарен.

    Классификация решений типам управления:

    1. Управление через экран
    2. Управление при помощи кликеров
    3. Управление через командную строку

    Управление через экран.
    То есть, BAS открывает экран компьютера через браузер при помощи протоколов VNC или RDP и кликает в соответствии с заложенным алгоритмом.
    Standalone решение https://novnc.com/info.html и инструкция https://habr.com/ru/post/326164/
    SaaS решение https://www.allmydesktops.com

    Управление при помощи кликеров (в том числе программ по работе с горячими клавишами).
    BAS каким-либо образом (через запуск exe, bat файлов или командную строку) активирует выполнение того или иного действия при помощи кликера
    Простой кликер, с генерацией exe файла http://www.mouserecorder.com
    Сложный кликер (фактически, язык программирования) https://www.autohotkey.com/ и инструмент создания макросов для него https://www.macrocreator.com/
    Сложный кликер, аналог autohotkey https://autoitscript.com
    Программа для управления компьютером http://www.xstarter.com/rus/index.php
    Кликер с визуальным распознаванием http://sikulix.com
    Кобмайн для автоматизации десктопа, программа мощная, но достаточно сложная для освоения. В отличии от большинства кликеров кликает не по координатам, а умеет распознавать элементы интерфейса. Возможен запуск из командной строки (https://robot.uipath.com/docs/arguments-description) https://www.uipath.com

    Управление через командную строку.
    При помощи команды "Запуск процесса" в BAS можно использовать все программы, которые поддерживают управление через командную строку. То есть, если Вам нужно автоматизированно решать какую-либо задачу на компьютере изучите, нет ли программы, которая может управляться через командную строку командой с аргументами, примеры:
    https://ffmpeg.zeranoe.com/builds/ для обработки видео
    https://aria2.github.io для скачивания файлов и торрентов

    Классификация типам сбора информации. Зачастую требуется не только отправлять действия в компьютер/программу, но и получать от них информацию и обрабатывать ее:

    1. Визуальный сбор и обработка
    2. Сбор при помощи копирования данных

    Визуальный сбор и обработка
    BAS/кликер делает скриншот и затем распознает информацию каким-либо образом (например, используя проверку пикселя или ocr распознавание текста при помощи API Google, Яндекс или https://ocr.space/ocrapi или NPM библиотеки https://www.npmjs.com/package/tesseractocr).

    Сбор при помощи копирования данных
    BAS/кликер копирует (если возможно) текст из программы, а затем реагирует на эти данные в соответствии с заложенным алгоритмом



  • @romanbiz said in Управление компьютером при помощи BAS:

    Сложный кликер, аналог autohotkey https://autoitscript.com

    Каким образом управлять кликером autoit через BAS?



  • @gamid Через запуск файла или через командную строку https://www.autoitscript.com/autoit3/docs/intro/running.htm



  • @romanbiz said in Управление компьютером при помощи BAS:

    @gamid Через запуск файла или через командную строку https://www.autoitscript.com/autoit3/docs/intro/running.htm

    Отлично!
    Не сложно, показать тестовый скрипт?



  • @vvtex делал тестовый скрипт
    Поднял сервер autoit
    и через http отправлял команды для выполнения через autoit так и оставил все не доделал но команды выполняет



  • @gamid said in Управление компьютером при помощи BAS:

    @vvtex делал тестовый скрипт
    Поднял сервер autoit
    и через http отправлял команды для выполнения через autoit так и оставил все не доделал но команды выполняет

    ok



  • Добавлю в список еще один автоматизатор android/ios/windows/browsers
    https://github.com/AirtestProject/Airtest


Log in to reply
 

  • 23
  • 7
  • 3
  • 9
  • 5
  • 3
  • 2
  • 5