Токен — кусок текста, которым оперирует языковая модель: частое слово занимает один токен, редкое или длинное разбивается на несколько частей, знаки препинания и пробел тоже идут в счёт. Разбиение подбирают заранее по статистике текстов, и от языка оно зависит: при богатой морфологии кусков на ту же фразу выходит больше.
92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.