ПРИМЕНЕНИЕ АУГМЕНТАЦИИ ДАННЫХ И SELF-SUPERVISED LEARNING ДЛЯ ПОВЫШЕНИЯ УСТОЙЧИВОСТИ РАСПОЗНАВАНИЯ ЖЕСТОВ

Аннотация

В работе рассматривается комплексное применение методов аугментации данных и обучения без учителя для повышения устойчивости систем распознавания жестов к изменяющимся внешним условиям, включая вариации освещённости, фона и ракурса съёмки. В качестве экспериментальной базы использован набор данных HAGRiD, содержащий более пятисот пятидесяти тысяч изображений в восемнадцати категориях жестов, снятых в различных условиях. Для выделения признаков применялся модуль MediaPipe Hands, извлекающий координаты двадцати одной ключевой точки кисти, которые затем обрабатывались полносвязной нейронной сетью. Аугментация данных включала геометрические, цветовые и композиционные преобразования. Для предварительного обучения модели на неразмеченных данных использовался контрастивный метод SimCLR. Эффективность подхода оценивалась по метрикам точности классификации, полноты, интегрального показателя F1 и показателя устойчивости, отражающего долю корректных предсказаний при наличии искажений на изображениях. Эксперименты показали, что аугментация данных увеличила точность на 3,6 процента и устойчивость на 6,5 процента, а интеграция с обучением без учителя обеспечила прирост точности на 5,7 процента и устойчивости на 12,3 процента по сравнению с базовой моделью. Полученные результаты подтверждают целесообразность комплексного применения данных методов для разработки мобильных и встраиваемых систем компьютерного зрения, функционирующих в условиях ограниченных ресурсов и высокой изменчивости внешней среды.