РАСПОЗНАВАНИЕ НЕПРЕРЫВНОЙ ЖЕСТОВОЙ РЕЧИ НА РУССКОМ ЖЕСТОВОМ ЯЗЫКЕ С ИСПОЛЬЗОВАНИЕМ ГИБРИДНОЙ CNN-LSTM АРХИТЕКТУРЫ
Статьи на боковой панели
Главная статья
Аннотация
В статье представлен алгоритм для распознавания непрерывной жестовой речи, разработанный на основе оригинального набора данных НГТУ, который включает слова и предложения на русском жестовом языке. Предложенная модель представляет собой гибридную нейронную сеть для извлечения пространственно-временных признаков из координат ключевых точек рук и позы тела, полученных с помощью фреймворка Mediapipe. Эксперименты демонстрируют высокую точность распознавания: предложенная модель достигает Word Error Rate 20.36% на тестовом наборе данных. Полученные результаты имеют важное значение для создания систем автоматического перевода жестового языка, которые могут улучшить коммуникационные возможности людей с нарушениями слуха. Они также открывают новые возможности для дальнейших исследований в области разработки инклюзивных технологий.
Подробнее
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-ShareAlike» («Атрибуция — Некоммерческое использование — На тех же условиях») 4.0 Всемирная.
Неисключительные права на статью передаются журналу в полном соответствии с Лицензией Creative Commons By-NC-SA 4.0 (Международная)