ОЦЕНКА КАЧЕСТВА ДИАЛОГОВ НА ОСНОВЕ BERT-ЭМБЕДДИНГОВ
Статьи на боковой панели
Главная статья
Аннотация
Исследование рассматривает решение задачи автоматизированной оценки качества диалогов в системах искусственного интеллекта. Предлагается метрический подход, основанный на агрегации контекстуальных BERT-эмбеддингов на уровне реплик и многошаговых контекстных окон. В отличие от традиционных лексических метрик (BLEU, ROUGE, Perplexity), предложенный метод учитывает семантическую согласованность, логическую связность и релевантность ответов в динамике диалога. Проведён эксперимент на корпусе из 1200 диалогов, демонстрирующий корреляцию с экспертными оценками 0,86 по Спирмену, что на 34% превышает показатели базовых методов.
Подробнее
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-ShareAlike» («Атрибуция — Некоммерческое использование — На тех же условиях») 4.0 Всемирная.
Неисключительные права на статью передаются журналу в полном соответствии с Лицензией Creative Commons By-NC-SA 4.0 (Международная)