МИНИМАЛИСТИЧНАЯ ТЕСТОВАЯ МОДЕЛЬ ДЛЯ ПРОВЕРКИ СПОСОБНОСТЕЙ LLM К НЕТРИВИАЛЬНЫМ АЛГОРИТМИЧЕСКИМ РАССУЖДЕНИЯМ

Аннотация

В работе представлена простая тестовая модель, предназначенная для проверки, действительно ли LLM способны выстраивать нетривиальные последовательности целенаправленных алгоритмических действий. В основу модели положены алгоритмические операции над непустыми строками. Система команд исполнителя содержит всего четыре элементарных операции, но позволяет осуществлять преобразование любой строки в любую другую строку при условии, что множества символов в исходной и целевой строках совпадают. Если LLM смогут успешно синтезировать цепочки таких операций для преобразования строк, это станет показателем присутствия у них алгоритмических навыков, которые невозможно объяснить только запоминанием информации, полученной на этапе машинного обучения.