Наборы заданий лежат в открытом доступе, оттуда же собирают обучающие тексты, и задания вместе с ответами оказываются внутри корпуса. Модель, видевшая их при обучении, показывает высокий результат, ничего не обобщая. Такие совпадения в корпусах находят, поэтому сравнение по открытым наборам требует отдельной проверки на загрязнение.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.