Мультимодальная модель приводит разные типы данных к наборам чисел, сравнимым между собой: снимок и его словесное описание получают близкие представления. Отсюда возможность ответить словами на вопрос о картинке или подобрать изображение по описанию. Обучают такую модель на парах, где содержимое одного типа уже сопоставлено содержимому другого.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.