Когда нужные сведения лежат в середине длинного поданного текста, ответы выходят хуже, чем когда те же сведения стоят в начале или в конце. Провал в середине измеряли у моделей разных разработчиков и при разных длинах входа; общепринятого объяснения через устройство внимания у этого провала нет. Текст, формально уместившийся в окно, обрабатывается неравномерно по своей длине.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.