На каждом шаге модель выдаёт не один кусок текста, а оценку правдоподобия сразу для всех возможных кусков; ответом становится один из них, отобранный по этим оценкам. Если выбор разыгрывается случайно, иногда берётся и не самый вероятный вариант. Оценка говорит о том, насколько кусок подходит к продолжению, а не о том, верно ли получившееся утверждение.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.