Предсказание следующего токена опирается на сочетаемость слов в обучающих текстах, и ничего, кроме неё, в вычислении нет. Утверждение, звучащее типично для такого места в тексте, получает высокую оценку независимо от того, верно оно или нет. Поэтому выдуманные сведения — не сбой процедуры, а её обычный исход там, где правдоподобное расходится с истинным.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.