Стоимость обучения — ресурс, уходящий на одну попытку: как правило, недели работы тысяч специализированных вычислителей, электричество на их питание и на охлаждение зала. Ход обучения сохраняют промежуточными записями, и после сбоя возвращаются к последней из них, теряя участок между сохранениями, а не всю попытку.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.