ИССЛЕДОВАНИЕ ПРЕИМУЩЕСТВ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ НАД КЛАССИЧЕСКИМИ ТРАНСФОРМЕРАМИ В ЗАДАЧАХ АБСТРАКТНОЙ СУММАРИЗАЦИИ ТЕКСТОВ

Аннотация

В данной статье проводится теоретико-обзорный анализ преимуществ больших языковых моделей LLM по сравнению с классическими трансформерами, такими как BERT или T5, в задачах абстрактной суммаризации текстов. Рассматриваются архитектурные особенности, масштабируемость, способность к генерации связных и семантически точных резюме, а также эффективность в условиях ограниченного обучения. Особое внимание уделяется метрикам оценки качества суммаризации, включая ROUGE и её модификации, такие как ROUGE-K. Анализируются эмпирические данные, демонстрирующие превосходство LLM в различных доменах, включая новости, научные статьи и диалоги. В заключение обсуждаются ограничения LLM и предлагаются практические рекомендации по их применению в задачах автоматической суммаризации. . В данной статье проводится теоретико-обзорный анализ преимуществ больших языковых моделей LLM по сравнению с классическими трансформерами, такими как BERT или T5, в задачах абстрактной суммаризации текстов. Рассматриваются архитектурные особенности, масштабируемость, способность к генерации связных и семантически точных резюме, а также эффективность в условиях ограниченного обучения. Особое внимание уделяется метрикам оценки качества суммаризации, включая ROUGE и её модификации, такие как ROUGE-K. Анализируются эмпирические данные, демонстрирующие превосходство LLM в различных доменах, включая новости, научные статьи и диалоги. В заключение обсуждаются ограничения LLM и предлагаются практические рекомендации по их применению в задачах автоматической суммаризации.