Фильтрация — отбор собранного по признакам качества перед тем, как начать обучение. Отбрасывают бессвязный текст, машинно порождённые списки, служебную разметку, содержимое на языках, под которые модель не готовят, и материалы, запрещённые правилами разработчика. Признаки отбора задаёт человек, и от них зависит, каким корпус дойдёт до обучения.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.