Бенчмарк — закреплённый набор заданий с известными ответами, одинаковый для всех проверяемых моделей. Нужен он не затем, чтобы измерить умение вообще, а затем, чтобы сравнить модели в одних условиях. Итог сводится к одному числу, и за ним не видно, какие именно задания решены: модели с равным результатом ошибаются в разном.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.