Управление компьютером при помощи BAS

[romanbiz]

Достаточно часто возникает задача по управлению при помощи BAS компьютером и программами в нем. В данном материале я обзорно дам информацию по бесплатным решениям этой задачи. Указанные методы можно комбинировать друг с другом. Если у Вас есть какие-либо замечания, добавления, буду благодарен.

Классификация решений типам управления:

1. Управление через экран
2. Управление при помощи кликеров
3. Управление через командную строку

Управление через экран.
То есть, BAS открывает экран компьютера через браузер при помощи протоколов VNC или RDP и кликает в соответствии с заложенным алгоритмом.
Standalone решение https://novnc.com/info.html и инструкция https://habr.com/ru/post/326164/
SaaS решение https://www.allmydesktops.com

Управление при помощи кликеров (в том числе программ по работе с горячими клавишами).
BAS каким-либо образом (через запуск exe, bat файлов или командную строку) активирует выполнение того или иного действия при помощи кликера
Простой кликер, с генерацией exe файла http://www.mouserecorder.com
Сложный кликер (фактически, язык программирования) https://www.autohotkey.com/ и инструмент создания макросов для него https://www.macrocreator.com/
Сложный кликер, аналог autohotkey https://autoitscript.com
Программа для управления компьютером http://www.xstarter.com/rus/index.php
Кликер с визуальным распознаванием http://sikulix.com
Кобмайн для автоматизации десктопа, программа мощная, но достаточно сложная для освоения. В отличии от большинства кликеров кликает не по координатам, а умеет распознавать элементы интерфейса. Возможен запуск из командной строки (https://robot.uipath.com/docs/arguments-description) https://www.uipath.com

Управление через командную строку.
При помощи команды "Запуск процесса" в BAS можно использовать все программы, которые поддерживают управление через командную строку. То есть, если Вам нужно автоматизированно решать какую-либо задачу на компьютере изучите, нет ли программы, которая может управляться через командную строку командой с аргументами, примеры:
https://ffmpeg.zeranoe.com/builds/ для обработки видео
https://aria2.github.io для скачивания файлов и торрентов

Классификация типам сбора информации. Зачастую требуется не только отправлять действия в компьютер/программу, но и получать от них информацию и обрабатывать ее:

1. Визуальный сбор и обработка
2. Сбор при помощи копирования данных

Визуальный сбор и обработка
BAS/кликер делает скриншот и затем распознает информацию каким-либо образом (например, используя проверку пикселя или ocr распознавание текста при помощи API Google, Яндекс или https://ocr.space/ocrapi или NPM библиотеки https://www.npmjs.com/package/tesseractocr).

Сбор при помощи копирования данных
BAS/кликер копирует (если возможно) текст из программы, а затем реагирует на эти данные в соответствии с заложенным алгоритмом

[GamiD]

@romanbiz said in Управление компьютером при помощи BAS:

Сложный кликер, аналог autohotkey https://autoitscript.com

Каким образом управлять кликером autoit через BAS?

[romanbiz]

@gamid Через запуск файла или через командную строку https://www.autoitscript.com/autoit3/docs/intro/running.htm

[vvtex]

@romanbiz said in Управление компьютером при помощи BAS:

@gamid Через запуск файла или через командную строку https://www.autoitscript.com/autoit3/docs/intro/running.htm

Отлично!
Не сложно, показать тестовый скрипт?

[GamiD]

@vvtex делал тестовый скрипт
Поднял сервер autoit
и через http отправлял команды для выполнения через autoit так и оставил все не доделал но команды выполняет

[vvtex]

@gamid said in Управление компьютером при помощи BAS:

@vvtex делал тестовый скрипт
Поднял сервер autoit
и через http отправлял команды для выполнения через autoit так и оставил все не доделал но команды выполняет

ok

[GamiD]

Добавлю в список еще один автоматизатор android/ios/windows/browsers
https://github.com/AirtestProject/Airtest