Chiziqli regressiya va gradient tushish

Chiziqli regressiya bitta o‘zgaruvchi bo‘lganda ma’lumotni to‘g‘ri chiziq bilan yaqinlashtiradi: y = w * x + b, bunda w — og‘ish koeffitsiyenti, b — erkin had. Ko‘p o‘zgaruvchili holatda model y = w1 * x1 + w2 * x2 + b kabi ko‘rinishda bo‘ladi. Maqsad — parametrlarni shunday tanlashki, bashoratlar haqiqiy qiymatlarga imkon qadar yaqin bo‘lsin, masalan, uy narxini uning maydoni va xonalar soniga qarab topish.

Yaqinlik o‘rtacha kvadratik xatolik (MSE) bilan o‘lchanadi: MSE = (1/n) * sum((y_i - yhat_i)^2), bunda yhat_i — model bashorati. Xatolar kvadratga ko‘tarilgani uchun musbat va manfiy og‘ishlar bir-birini yo‘qotmaydi, katta xatolar esa ko‘proq jazolanadi. Eng kichik kvadratlar usulida parametrlarni normal tenglama bilan bir qadamda hisoblash mumkin: w = (X^T * X)^(-1) * X^T * y; bunda X matritsasiga birlardan iborat ustun qo‘shiladi, shuning uchun b ham w vektorining elementi bo‘ladi.

Ma’lumot hajmi va belgilar soni katta bo‘lsa, normal tenglama qimmatga tushadi; shunda gradient tushish (gradient descent) usuli qo‘llanadi. Algoritm xatolik funksiyasining gradientini, ya’ni qismiy hosilalar vektorini hisoblaydi va parametrlarni gradientga qarama-qarshi yo‘nalishda kichik qadam bilan yangilaydi: w = w - lr * dMSE/dw. Qadam o‘lchami lr (o‘qitish tezligi) juda katta bo‘lsa, jarayon uzoqlashib ketadi, juda kichik bo‘lsa, yaqinlashish sekin kechadi. Chiziqli regressiyada MSE qavariq funksiya bo‘lgani uchun lokal minimum muammosi yo‘q, belgilarni bir xil masshtabga keltirish esa yaqinlashishni tezlashtiradi.

Model sifati test to‘plamida baholanadi: RMSE (MSE’ning kvadrat ildizi, o‘lchov birligi y bilan bir xil) va determinatsiya koeffitsiyenti R2, u model dispersiyaning qancha qismini tushuntirishini ko‘rsatadi (1 ga yaqin bo‘lsa yaxshi). Chiziqli regressiya bog‘liqlikni taxminan chiziqli deb hisoblaydi; chetlashgan qiymatlar (outlier) natijaga kuchli ta’sir qiladi, o‘zaro bog‘liq belgilar (multikollinearlik) esa koeffitsiyentlarni beqaror qiladi. Egri bog‘liqlikni polinomial belgilar yordamida, ortiqcha moslashuvni esa regulyarizatsiya (Ridge, Lasso) bilan jilovlash mumkin.

Asosiy xulosalar

• Chiziqli regressiya y = w * x + b modelida parametrlarni ma’lumotdan topadi.
• O‘rtacha kvadratik xatolik (MSE) bashorat va haqiqiy qiymat orasidagi farqni o‘lchaydi.
• Kichik masalalarda normal tenglama, katta ma’lumotlarda gradient tushish ishlatiladi.
• O‘qitish tezligi lr ni to‘g‘ri tanlash va belgilarni bir xil masshtabga keltirish yaqinlashishni tezlashtiradi.
• Sifat RMSE va R2 bilan baholanadi; chetlashgan qiymatlar va multikollinearlik natijani buzishi mumkin.