Уверенность, которую модель произносит в ответе словами или числом, связана с верностью этого ответа слабо: неверное бывает заявлено твёрдо, верное — с оговорками. Такое расхождение измеряли у выпущенных моделей. Внутренняя вероятность токена и уверенность, произнесённая в ответе, — разные величины, и совпадать они не обязаны.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.