СРАВНЕНИЕ АЛГОРИТМОВ ОБРАБОТКИ ЕСТЕСТВЕННОЙ РЕЧИ: LONGFORMER-ENCODER-DECODER И BIG BIRD

Аннотация

В данной статье проведено сравнение алгоритмов обработки естественной речи (NLP), на моделях Longformer-Encoder-Decoder (LED) и Big Bird, с фокусом на выбор между точностью и эффективностью на долгих текстах. Исследование основано на четырёх наборах данных из SCROLLS бенчмарка и покрывает два основных направления задач NLP: суммаризацию и ответы на вопросы. Особое внимание уделено влиянию размера модели и длины входных последовательностей на общую эффективность и точность.