Функция активации — преобразование результата узла, не сводимое к умножению на число: например, отрицательные значения заменяются нулём. Без такого шага цепочка слоёв свернулась бы в одно-единственное линейное преобразование, и добавление новых слоёв не расширяло бы возможностей сети.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.