Там, где в обучающих данных почти нет примеров, ответ всё равно строится: модель продолжает по самым похожим из виденных случаев. Похожесть при этом определяется формой записи, а не существом дела. Получается гладкий текст с верным построением и подменёнными частностями. Предупреждения о том, что примеров не хватило, в ответе не появляется.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.