Линейная регрессия и градиентный спуск

Линейная регрессия при одном признаке приближает данные прямой: y = w * x + b, где w — коэффициент наклона, b — свободный член. Для нескольких признаков модель имеет вид y = w1 * x1 + w2 * x2 + b. Цель — подобрать параметры так, чтобы предсказания были как можно ближе к реальным значениям, например предсказать цену дома по его площади и числу комнат.

Близость измеряют среднеквадратичной ошибкой (MSE): MSE = (1/n) * sum((y_i - yhat_i)^2), где yhat_i — предсказание модели. Поскольку ошибки возводятся в квадрат, положительные и отрицательные отклонения не компенсируют друг друга, а большие ошибки штрафуются сильнее. В методе наименьших квадратов параметры можно вычислить за один шаг с помощью нормального уравнения: w = (X^T * X)^(-1) * X^T * y; здесь к матрице X добавляют столбец из единиц, поэтому b тоже становится элементом вектора w.

Если данных и признаков много, нормальное уравнение обходится дорого; тогда применяют градиентный спуск (gradient descent). Алгоритм вычисляет градиент функции ошибки — вектор частных производных — и обновляет параметры небольшим шагом в направлении, противоположном градиенту: w = w - lr * dMSE/dw. Если шаг lr (скорость обучения) слишком велик, процесс расходится, если слишком мал — сходимость медленная. Для линейной регрессии MSE — выпуклая функция, поэтому проблемы локального минимума нет, а приведение признаков к одному масштабу ускоряет сходимость.

Качество модели оценивают на тестовой выборке: RMSE (корень из MSE, измеряется в тех же единицах, что и y) и коэффициент детерминации R2, показывающий, какую долю дисперсии объясняет модель (чем ближе к 1, тем лучше). Линейная регрессия предполагает, что зависимость примерно линейна; выбросы (outlier) сильно влияют на результат, а взаимосвязанные признаки (мультиколлинеарность) делают коэффициенты неустойчивыми. Нелинейную зависимость можно описать с помощью полиномиальных признаков, а переобучение сдержать регуляризацией (Ridge, Lasso).

Главное

• Линейная регрессия находит по данным параметры модели y = w * x + b.
• Среднеквадратичная ошибка (MSE) измеряет разницу между предсказанием и реальным значением.
• Для небольших задач применяют нормальное уравнение, для больших данных — градиентный спуск.
• Правильный выбор скорости обучения lr и приведение признаков к одному масштабу ускоряют сходимость.
• Качество оценивают по RMSE и R2; выбросы и мультиколлинеарность могут исказить результат.