В системе предусмотрена возможность парсинга десктопных приложений (получение списка всех элементов с активного окна, последовательная запись действий над элементами, сохранение действий в блок-схему сценария в виде отдельных шагов).
Парсинг десктопных приложений
Парсинг приложений через winAPI
Необходимо на панели команд нажать на кнопку «Начать запись процесса» Выбрать приложение, которое необходимо парсить. Откроется панель записи действий (см. рис. 27)
Рис. 27
На панели записи расположена кнопка остановки записи
и управляющие элементы, с помощью которых можно позиционировать панель на экране
Для записи шага необходимо навести курсор мыши на нужный элемент и нажать на клавиатуре клавишу Ctrl, элемент будет подсвечен розовым цветом (см. рис. 28)
Рис. 28
Чтобы записать действие - необходимо кликнуть правой кнопкой мыши на выделенном элементе и в открывшемся списке действий выбрать нужное
(см. рис. 29)
Рис. 29
Или, не отпуская Ctrl нажать на кнопку Ё, выбранный элемент отобразится на панели записи (см. рис. 30)
Рис. 30
Можно переходить к записи действия над следующим элементом, для этого необходимо навести курсор на элемент и нажать Ctrl, дальше действия выполняются по вышеописанному алгоритму.

После того как нужные шаги записаны необходимо нажать на кнопку остановки записи
Записанные шаги отобразятся в основном окне в виде блок-схемы
(см. рис. 31)
Рис. 31
Для уточнения действия над элементом или настройки дополнительных параметров действия необходимо выбрать элемент на блок схеме и в правой части экрана в разделе свойства настроить необходимые параметры (см. рис. 32)
Рис. 32
Например: если было выбрано действие «Клик по элементу», то в свойствах надо указать тип действия – «Клик левой кнопкой», «Клик правой кнопкой» и т.д.

При нажатии на поле «Элемент» в свойствах отображается подробная информация по данному элементу, полный путь до него и все свойства. Основными свойствами, по которым можно однозначно определить элемент являются (см. рис. 33)

  • XPath
  • Properties

  o Name

  o AutomationId

  o AccessKey

  o ClassName

  o ControlType

  • Application

  o NAME

  o EXECUTABLEPATH

  o MAINWINDOWTITLE

Рис. 33
Для запуска настроенного процесса необходимо в панели команд нажать на кнопку «Запустить процесс» .
Для остановки запущенного процесса необходимо в панели команд нажать на кнопку «Остановить процесс»
Парсинг приложений с помощью компьютерного зрения
Необходимо на панели команд нажать на кнопку «Начать запись процесса» Выбрать приложение, которое необходимо парсить.
Откроется панель записи действий (см. рис. 34)
Рис. 34
Далее необходимо нажать сочетание клавиш правый ctrl+0, откроется редактор для выбора элементов (см. рис. 35)
Рис. 35
Выделить «рамкой» элемент на окне приложения, в котором необходимо произвести действие. Элемент будет отмечен как показано на рисунке ниже. Затем нужно выбрать тип действия и нажать кнопку «Создать команду». Скриншот выделенного элемента отображается на правой панели (см. рис. 36).
Рис. 36
После того как нужные элементы записаны необходимо нажать на кнопку остановки записи
Записанные команды отобразятся в основном окне в виде блок-схемы (см. рис. 37)
Рис. 37