Синтетические данные — примеры, не собранные из существующих текстов и снимков, а порождённые моделью специально для обучения. Так получают материал там, где настоящих данных мало или они закрыты: редкие случаи, диалоги нужного вида, задачи вместе с разбором. Происхождение такого примера приходится помечать отдельно — из самого текста оно не следует.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.