Запрос сначала уходит в поиск по набору документов, найденные куски добавляются ко входу, и модель строит ответ, имея их перед собой. Так в ответ попадают сведения, которых в обучающих данных не было, — свежие или закрытые. Механизм предсказания при этом прежний: подставленные документы меняют источник сведений, но выдуманных фрагментов не исключают.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.