Корпус — собранный заранее массив текстов, изображений и прочего содержимого, на котором обучают большую модель. Он складывается из разнородных источников: веб-страниц, оцифрованных книг, научных статей, обсуждений на форумах, программного кода. У разработчиков состав свой и публикуется целиком редко, поэтому со стороны о нём судят приблизительно.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.