Рост моделей ограничен не идеями, а тем, сколько вычислителей удаётся собрать и обеспечить питанием: выпуск чипов, подведённая мощность, отвод тепла, место под центры обработки данных. Ограничение действует и на обучение, и на повседневную работу выпущенных моделей, в которой нагрузка постоянная, а не однократная. Упирается в него не отдельная модель, а отрасль целиком.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.