Корпус, собранный из того, что доступно, представляет языки, темы и типы источников непропорционально их месту в мире: одни языки описаны в сети подробно, другие представлены немногими текстами. Модель воспроизводит это соотношение — чего в корпусе много, то она продолжает увереннее и подробнее. Отбор и удаление повторов такую неравномерность не выравнивают.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.