Сбор текстов из открытого интернета · Карточка INF-0062
ИИ: как он устроенДанные, на которых учат

Программа-обходчик собирает тексты со страниц

Веб-обход — способ пополнить корпус: программа идёт по ссылкам со страницы на страницу и сохраняет то, что на них найдено. Вместе с полезным текстом в сохранённые страницы попадают меню, реклама, служебные надписи, перепечатки одной новости и сообщения об ошибке. Отсеивают их позже, отдельной обработкой.

INF-0062InDecks
Колода «ИИ: как он устроен» · 92 карточки · все открыты бесплатно
Дальше в колоде
Из колоды

ИИ: как он устроен

92 карточки об устройстве искусственного интеллекта: на каких данных учат модели, из чего собрана сеть, как идёт обучение и почему работа языковой модели сведена к предсказанию следующего куска текста. Два раздела отвечают, отчего модель уверенно сообщает несуществующее и что с этим делают. Последний — чего у модели нет в принципе.

92 карточки · Взрослые
О колоде Открыть в браузере В Telegram В ВКонтакте