РАЗВИТИЕ МЕТОДОВ КЛАССИФИКАЦИИ ТЕКСТОВ: ОТ СТАТИСТИЧЕСКИХ МОДЕЛЕЙ К БОЛЬШИМ ЯЗЫКОВЫМ МОДЕЛЯМ

Аннотация

Статья прослеживает развитие методов классификации текстов от статистических моделей к эмбеддинговым, трансформерным и LLM-ориентированным подходам. Рассмотрены постановка задачи, способы представления текста, классические классификаторы, ранние архитектуры глубокого обучения и современные схемы с использованием больших языковых моделей. Основная линия развития состоит в переходе от частотных признаков к контекстно-зависимым представлениям, а затем к моделям, которые учитывают не только сам текст, но и формулировку задачи. Выбор подхода зависит от доступной разметки, требований к интерпретируемости и вычислительных ограничений.