СИСТЕМА МУЛЬТИМОДАЛЬНОГО УПРАВЛЕНИЯ И ВИЗУАЛИЗАЦИИ ПОЛЕТА БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА

В работе рассматривается актуальная задача построения системы мультимодального управления беспилотного летательного аппарата типа квадрокоптер, интегрирующего различные методы ввода, обработки и передачи информации. Квадрокоптер принимает голосовые и жестовые команды, которые подготовлены и распознаются посредством искусственных нейронных сетей глубокого обучения. Приведена общая архитектура системы, описаны её функции и программное обеспечение. Рассмотрена среда моделирования и визуализации полета. Посредством разработанного программного комплекса выполнена имитация полета квадрокоптера. Проведена отработка различных команд и полетных заданий, в том числе, облет строений. Проведенные исследования показали, что беспилотный летательный аппарат успешно распознает команды, а система визуализации адекватно отражает процесс полетного задания.

The paper considers the actual task of building a multimodal control system for an unmanned aerial vehicle of the quadrocopter type, integrating various methods of input, processing and transmission of information. The quadcopter accepts voice and gesture commands that are prepared and recognized through deep learning arti cial neural networks. The general architecture of the system is given, its functions and software are described. The environment for ight simulation and visualization is considered. By means of the developed software package, an imitation of the ight of a quadrocopter was performed. Various teams and ight missions were tested, including ight over buildings. The conducted studies have shown that the unmanned aerial vehicle successfully recognizes commands, and the visualization system adequately re ects the process of the ight task.

Publisher
Общество с ограниченной ответственностью Издательство Научтехлитиздат
Number of issue
9
Language
Russian
Pages
3-11
Status
Published
Year
2023
Organizations
  • 1 Федеральное государственное бюджетное учреждение науки Институт программных систем им. А.К. Айламазяна Российской академии наук (ИПС им. А.К. Айламазяна РАН)
  • 2 Федеральный исследовательский центр «Информатика и управление» Российской академии наук (ФИЦ ИУ РАН)
  • 3 Российский университет дружбы народов имени Патриса Лумумбы (РУДН)
Keywords
multimodal interface; unmanned aerial vehicle; command; gesture control; voice control; arti cial neural network; simulation model; visualization; мультимодальный интерфейс; беспилотный летательный аппарат; команда; управление жестами; управление голосом; искусственная нейронная сеть; имитационная модель; визуализация
Date of creation
01.07.2024
Date of change
01.07.2024
Short link
https://repository.rudn.ru/en/records/article/record/107289/
Share

Other records

Shalnova J.S.
Восточный калейдоскоп : материалы докладов и сообщений III Всероссийской научно-практической конференции молодых ученых-востоковедов с международным участием. Москва, РУДН, 06 декабря 2022 г.. РУДН. 2023. P. 616-624
Liu Y.
Восточный калейдоскоп : материалы докладов и сообщений III Всероссийской научно-практической конференции молодых ученых-востоковедов с международным участием. Москва, РУДН, 06 декабря 2022 г.. РУДН. 2023. P. 310-317