Перед обучением веса заполняют мелкими случайными числами. Равные значения не годятся: узлы одного слоя получали бы одинаковые поправки и навсегда остались бы неразличимыми. Готового знания в начальном состоянии нет, ответы такой сети беспорядочны, и весь дальнейший результат складывается из поправок, накопленных за обучение.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.