Дедупликация — удаление повторяющихся текстов из корпуса. Один и тот же документ попадает в корпус многократно: через перепечатки, зеркала сайтов и цитирование целиком. При обучении такой текст выглядит многократно подтверждённым и влияет на модель сильнее прочих, поэтому копии сводят к одной ещё до начала обучения.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.