Как работает машинное обучение

Поймите, как модели учат закономерности из обучающих данных и почему они ошибаются.

Около 3 мин чтения
  • Объясните своими словами, как работает машинное обучение
  • Правильно используйте ключевые термины, например «модель»
  • Применяйте изученное к новым примерам и вопросам
  • Избегайте типичных ошибок, которые ученики допускают в этой теме

Этот урок посвящён тому, как работает машинное обучение: поймите, как модели учат закономерности из обучающих данных и почему они ошибаются.

Определение: Как работает машинное обучение

Поймите, как модели учат закономерности из обучающих данных и почему они ошибаются.

Ключевые идеи

Модели учат закономерности, а не зазубривают факты

Модель — это набор выученных правил или статистических связей, который после обучения на имеющихся данных можно применять к новым данным. Например, спам-фильтр обучают на размеченных письмах, и он усваивает связь между написанием «спам» и тем, что письмо — спам. Обучить модель — это подогнать параметры под данные, а не написать правила вручную; закономерности находит алгоритм.

Ошибки обучения тоже усваиваются

Если обучающие данные отражают прошлую несправедливость, модель усвоит и её — поэтому репрезентативность и метрики важны. При переобучении модель так близко заучивает обучающие данные, что проваливается на новых примерах; а утечка данных раздувает метрики, когда ответ просачивается в обучающий набор.

Термин — модель: Набор выученных правил или статистических связей, который после обучения на имеющихся данных можно применять к новым данным.

Разобранный пример: как работает машинное обучение

Модель так близко заучивает обучающие данные, что проваливается на новых примерах. Как это называется?

Переобучение — подумайте, научилась ли модель обобщать.

Ответ: Переобучение — подумайте, научилась ли модель обобщать.

Типичные ошибки
  • Утечка данных Исправление: всегда проверяйте, что признаки не кодируют информацию, которой не будет в тестовом наборе.
  • Отсутствие раздельной оценки по группам Исправление: отложите общую точность в сторону и оценивайте метрики справедливости отдельно для каждой группы.

Практика

Модель обучена на прошлых записях о найме и систематически отсеивает заявки женщин. Что это за тип смещения?
Откуда модель усвоила это решение?

Историческое предубеждение в обучающих данных — модель усвоила прошлые несправедливые закономерности.

Приложение ИИ обучается на прошлых записях о найме, и вы замечаете, что заявок от одной группы очень мало. Какой риск смещения здесь возникает?
Подумайте, насколько надёжной модель будет для этой группы.

Нерепрезентативная выборка — модель не сможет надёжно принимать решения для этой группы.

Верно или неверно: 100% точности на обучающих данных доказывает, что модель хорошо работает.
Подумайте о тестировании точности на невиданных данных.

Неверно — это признак переобучения; тестируйте точность на невиданных данных.

Как называется, когда признаки кодируют информацию, которой не будет в тестовом наборе?
Почему тестовые результаты вводят в заблуждение?

Утечка данных.

Быстрая проверка

Как работает машинное обучение — быстрая проверка

Что из этого лучше всего определяет "модель"?

Набор выученных правил или статистических связей, который после обучения на имеющихся данных можно применять к новым данным.

Модель так близко заучивает обучающие данные, что проваливается на новых примерах. Как это называется?

Переобучение — подумайте, научилась ли модель обобщать.

Верно или неверно: высокая точность означает, что модель справедлива.

Неверно — справедливость требует отдельных метрик для каждой группы.
Главные выводы
  • Как работает машинное обучение: поймите, как модели учат закономерности из обучающих данных и почему они ошибаются.
  • Модели учат закономерности, а не зазубривают факты: Модель — это набор выученных правил или статистических связей, который после обучения на имеющихся данных можно применять к новым данным.
  • Смещение: Перекос в данных или модели, систематически ставящий одни группы в лучшее или худшее положение, чем другие, — например, предубеждения, попавшие в обучающую выборку.
  • Остерегайтесь: утечки данных
Назад к главам за 12 классСвязанные ресурсы →