Автоматическое преобразование жестов русской ручной азбуки в текстовый вид

Рассматривается задача сурдоперевода для жестов, используемых в русской ручной азбуке (РРА) глухонемых. Предлагается программно-аппаратная система, позволяющая в реальном времени преобразовывать статические и динамические жесты в текст; проведенные эксперименты показывают, что система в настоящее время обеспечивает достаточно уверенное распознавание всех статических и некоторых динамических жестов азбуки РРА. Намечены пути дальнейшего улучшения качества анализа динамических жестов.

Automatic transformation of russian manual alphabet to digital text

The problem of sign language translation is considered for a set of gestures used in Russian manual alphabet (RMA). A hardware and software based system is proposed, which allows real time translation of static and dynamic gestures to digital text. Capturing of gestures is performed via 3D sensor of new generation Asus Xtion Pro Live. Machine translation is achieved by capturing depth images of human hand, processing and decomposing video sequence to key segments, where each segment represents individual gesture from RMA. Position of hand in depth image is determined via software platforms OpenNI and NITE. Hand configuration recognition is accomplished by converting hand image to geometric skeleton and comparing skeleton scans via dynamic time warping (DTW) algorithm. Gesture co-articulations are detecting by analyzing hand configurations in every video frame. The experiments show that developed system currently provides good quality of recognition for all static and some dynamic gestures used in RMA. The ways of further improvements for recognition of dynamic gestures are outlined.