В работе рассматривается актуальная задача построения системы мультимодального управления беспилотного летательного аппарата типа квадрокоптер, интегрирующего различные методы ввода, обработки и передачи информации. Квадрокоптер принимает голосовые и жестовые команды, которые подготовлены и распознаются посредством искусственных нейронных сетей глубокого обучения. Приведена общая архитектура системы, описаны её функции и программное обеспечение. Рассмотрена среда моделирования и визуализации полета. Посредством разработанного программного комплекса выполнена имитация полета квадрокоптера. Проведена отработка различных команд и полетных заданий, в том числе, облет строений. Проведенные исследования показали, что беспилотный летательный аппарат успешно распознает команды, а система визуализации адекватно отражает процесс полетного задания.
The paper considers the actual task of building a multimodal control system for an unmanned aerial vehicle of the quadrocopter type, integrating various methods of input, processing and transmission of information. The quadcopter accepts voice and gesture commands that are prepared and recognized through deep learning arti cial neural networks. The general architecture of the system is given, its functions and software are described. The environment for ight simulation and visualization is considered. By means of the developed software package, an imitation of the ight of a quadrocopter was performed. Various teams and ight missions were tested, including ight over buildings. The conducted studies have shown that the unmanned aerial vehicle successfully recognizes commands, and the visualization system adequately re ects the process of the ight task.