Длинный ответ получается повторением одного шага: модель выдаёт очередной кусок текста, он приписывается к входу, и шаг идёт заново с удлинившейся последовательностью. Ответ растёт слева направо, и уже выданное не переписывается. Остановка наступает по особому завершающему куску либо по достижении заданного предела длины.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.