Внимание — операция, которая для очередного куска текста определяет, насколько учитывать при его обработке каждый из предшествующих кусков входа. Веса такого учёта считаются по самим представлениям, а не задаются заранее, и меняются от фразы к фразе. Так в вычисление попадает связь куска с далеко отстоящими от него частями входа.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.