ЭФФЕКТИВНОСТЬ ПРИМЕНЕНИЯ РОССИЙСКИХ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ В ЗАДАЧЕ ВЫДЕЛЕНИЯ ИМЕНОВАННЫХ СУЩНОСТЕЙ

Аннотация

В статье рассматривается применение российских больших языковых моделей (GigaChat от компании Сбер и YandexGPT от компании Яндекс) и их сравнение с другими методами в решении задачи выделения именованных сущностей. В качестве материалов для оценки подходов будут использованы 5 текстовых документов разного смыслового содержания из проекта открытого доступа factRuEval-2016. На основе проведенных тестирований будет сделан вывод о целесообразности применения рассмотренных LLM (Large Language Model – большая языковая модель) в автоматизации выделения именованных сущностей по категориям PERSON, ORGANIZATION и LOCATION. В тексте статьи будет приведено сравнение LLM с разметкой данных человеком и специализированным, для этой процедуры, инструментом – набором библиотек NATASHA. В приведенном сравнении ручная разметка будет взята за эталон (единица по всем характеристикам). Оценка результатов будет проводиться по стандартным, для этой задачи, метрикам – precision, recall и f1-score. Для сравнения полученных результатов с принятым эталоном будет использоваться библиотека BERTScore, применяемая на языке программирования Python. В целях улучшения качества работы языковых моделей будет составлен структурированный промпт с явными инструкциями, который будет продемонстрирован в тексте статьи.