Трансформер — устройство сети, в котором слои внимания чередуются с обычными слоями узлов, и так, как правило, несколько десятков раз. При обучении вся последовательность обрабатывается разом, а при построении ответа куски добавляются по одному. Так устроены нынешние языковые модели.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.