Изредка модель выдаёт кусок обучающего текста слово в слово — чаще тот, что встречался в корпусе многократно. Хранилища текстов внутри модели нет: воспроизводится то, что повтор закрепил в весах настолько, что продолжение восстанавливается однозначно. Вероятность такого воспроизведения растёт с числом повторов фрагмента и с размером модели.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.