Модель выписывает промежуточные шаги разбора перед итоговым ответом. На задачах со счётом и многоходовым выводом доля верных ответов при этом заметно росла: выписанный шаг попадает во вход следующего шага и участвует в дальнейшем предсказании. Такой текст — не отчёт о том, что происходило внутри модели.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.