Контекстное окно — предельное число кусков текста, которые модель обрабатывает за одно обращение. В него входит всё сразу: инструкция, поданные документы, история переписки и сам растущий ответ. Что в предел не уложилось, отбрасывают или сокращают ещё до обращения, и до модели оно не доходит.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.