Обучение с учителем и без учителя

Машинное обучение (ML) — подход, при котором правила не пишут вручную, а «выучивают» по данным. По определению Тома Митчелла, программа обучается, если её результат в задаче T, измеряемый показателем P, улучшается по мере накопления опыта E. Например, в задаче обнаружения спама опыт — это размеченные письма, а показатель — доля правильно распознанных писем.

При обучении с учителем (supervised learning) каждый обучающий пример приводится с ответом (меткой, label): модель учится правилу перехода от входа x к выходу y. Если y — дискретный класс (спам или не спам), задача называется классификацией, если непрерывное число (цена квартиры) — регрессией. Известные алгоритмы: линейная регрессия, логистическая регрессия (несмотря на название, алгоритм классификации), деревья решений, метод опорных векторов (SVM) и k ближайших соседей (k-NN).

При обучении без учителя (unsupervised learning) ответы не даются: модель сама находит скрытую структуру в данных. Основные задачи: кластеризация (группировка похожих объектов, например сегментация клиентов с помощью k-means), снижение размерности (PCA) и поиск аномалий. Оценить результат сложнее, поскольку правильного ответа нет, и вывод часто опирается на интерпретацию специалиста. Кроме того, существуют обучение с частичным привлечением учителя (мало размеченных и много неразмеченных данных) и обучение с подкреплением (агент учится по награде).

Качество модели оценивают только на данных, которых она не видела при обучении, поэтому данные делят на обучающую и тестовую выборки (например, 80% и 20%). Если модель «заучивает» обучающие данные и плохо работает на новых, это называется переобучением (overfitting); слишком простая модель, напротив, недообучается (underfitting). Против переобучения применяют больше данных, более простую модель, регуляризацию и кросс-валидацию.

Главное

• Машинное обучение выучивает правила по данным, а не получает их написанными вручную.
• При обучении с учителем есть размеченные данные: классификация (дискретный класс) и регрессия (непрерывное значение).
• При обучении без учителя меток нет: кластеризация, снижение размерности и поиск аномалий.
• Качество модели оценивают на тестовой выборке, не использованной при обучении.
• Переобучение — это когда модель заучивает обучающие данные и не умеет обобщать их на новые.