ПРИМЕНЕНИЕ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ОБУЧЕНИИ ДАКТИЛЬНОМУ ЯЗЫКУ

Аннотация

В работе описана программная система распознавания дактилем русской дактильной азбуки (РДА), ориентированная на самостоятельное обучение жестовому языку без педагога. Детекция кисти выполняется библиотекой MediaPipe HandLandmarker: из каждого кадра извлекаются координаты 21 ключевой точки, которые после нормировки и дополнения производными признаками образуют вектор размерностью 78. Классификацию по этому вектору осуществляет многослойный перцептрон (MLP) с четырьмя скрытыми слоями. Обучение и тестирование проводились на видеодатасете Bukva (НГУ, 3862 видеозаписи, 14 подписантов); принципиальная особенность - работа с одиночным кадром конечной фазы жеста, а не с видеопоследовательностью. Буквы, у которых конфигурация кисти в статике совпадает и различить их можно лишь по сопровождающему движению (Е/Ё, И/Й, Ш/Щ, Ь/Ъ), намеренно объединены в совмещённые классы - это сводит задачу к 29 классам вместо 33 и устраняет неразрешимую неоднозначность. Система обеспечивает уверенность распознавания (conf) до 99% для статических букв и функционирует в режиме реального времени через обычную веб-камеру и отображает скелет кисти как визуальную обратную связь.