Regression — input featurelar asosida uzluksiz sonli qiymatni bashorat qiladigan supervised machine-learning vazifasi. Regression uy narxi, talab, vaqt, masofa, harorat, daromad va boshqa numeric targetlarni model qilishda ishlatiladi.
Regression statistika va machine learningda relationshipni tushuntirish hamda yangi sample uchun qiymat bashorat qilishga xizmat qiladi.
Linear regression
Eng sodda model:
y = w1x1 + w2x2 + ... + b
Target featurelarning weighted yig‘indisi bilan ifodalanadi.
Weightlar training data’da xatoni kamaytiradigan tarzda topiladi.
Linear model relationship taxminan chiziqli bo‘lganda yaxshi ishlaydi.
Simple va multiple regression
Bitta feature:
y = wx + b
— simple linear regression.
Bir nechta feature — multiple regression.
Featurelar soni oshishi modelni kuchaytiradi, lekin multicollinearity va overfitting xavfini ham oshiradi.
Residual
Haqiqiy va predicted qiymat farqi:
residual = y_true - y_pred
Residual tahlili model xatosining patternini ko‘rsatadi.
Agar residual feature yoki prediction bilan tizimli bog‘liq bo‘lsa model muhim relationshipni o‘rganmagan bo‘lishi mumkin.
Mean Squared Error
MSE xatolar kvadratining o‘rtachasi.
Katta xatolar kuchliroq jazolanadi.
Differentiable va optimization uchun qulay.
Outlierlarga sezgir.
RMSE MSEning kvadrat ildizi bo‘lib, target birligiga qaytadi.
Mean Absolute Error
MAE absolute xatolar o‘rtachasi.
Outlierga MSEdan chidamliroq.
Interpretatsiyasi oddiy:
o‘rtacha xato miqdori
Gradient nol atrofida silliq emas, ammo optimizerlar bilan ishlaydi.
Huber loss
Kichik xatoda squared, katta xatoda absolute behavior ishlatadi.
MSEning silliqligi va MAEning outlierga chidamliligini birlashtiradi.
Threshold task scale’iga mos tanlanadi.
R-squared
R² model target variance’ining qancha qismini tushuntirishini ko‘rsatadi.
1ga yaqin qiymat yaxshi fitni bildirishi mumkin.
0 baseline mean predictionga yaqin.
Test setda manfiy R² ham bo‘lishi mumkin, ya’ni model oddiy meandan yomonroq.
Regularization
Linear regressionda:
- Ridge — L2 penalty;
- Lasso — L1 penalty;
- Elastic Net — L1 va L2.
Ridge weightlarni kichraytiradi.
Lasso ayrim weightlarni nolga olib, feature selectionga yaqin behavior beradi.
Polynomial regression
Featurelarning darajalari va interactionlari qo‘shiladi:
x, x², x³
Model nonlinear curve’ni linear parameterlar bilan o‘rganadi.
Daraja juda katta bo‘lsa overfitting va numerical instability yuz beradi.
Tree regression
Decision tree feature bo‘yicha hududlarga ajratib, har leafda numeric qiymat beradi.
Random Forest va Gradient Boosting murakkab nonlinear relationshipni o‘rganadi.
Scaling talab qilmaydi.
Tree predictionlari extrapolationda cheklangan bo‘lishi mumkin.
Neural regression
Neural network output layer odatda bitta yoki bir nechta linear qiymat chiqaradi.
Target scale katta bo‘lsa normalization yordam beradi.
Outputning fizik chegarasi bo‘lsa activation yoki post-processing bilan cheklanadi.
Misol, manfiy bo‘lmaydigan qiymat uchun mos transform.
Multi-output regression
Bir sample uchun bir nechta continuous target:
[harorat, namlik, bosim]
bashorat qilinadi.
Har target scale va importance farqli bo‘lsa loss weightlari ishlatiladi.
Targetlar orasidagi correlation modelga foyda berishi mumkin.
Quantile regression
Faqat o‘rtacha qiymat emas, ma’lum quantile bashorat qilinadi.
Masalan:
- 10%;
- median;
- 90%.
Bu prediction interval va asymmetric risk uchun foydali.
Pinball loss ishlatiladi.
Count regression
Target count bo‘lsa Poisson yoki negative-binomial regression mos kelishi mumkin.
Oddiy linear model manfiy prediction berishi mumkin.
Distribution assumption va overdispersion tekshiriladi.
Feature scaling
Gradientga asoslangan linear va neural modelda feature scale muhim.
Bir feature 0–1, boshqasi million diapazonda bo‘lsa optimization qiyinlashadi.
Standardization statistikasi faqat training setdan olinadi.
Outlier
Outlier target yoki feature xatosi, noyob hodisa yoki haqiqiy extreme qiymat bo‘lishi mumkin.
Uni avtomatik olib tashlash noto‘g‘ri.
Robust loss, transform va domain tekshiruv ishlatiladi.
Heteroscedasticity
Residual variance input yoki predicted qiymatga qarab o‘zgarishi mumkin.
Masalan, katta uy narxida xato diapazoni ham katta.
Log transform, weighted regression yoki uncertainty modeli qo‘llanadi.
Data leakage
Kelajakdagi yoki targetdan hosil qilingan feature regression metricini sun’iy oshiradi.
Time-based split forecasting va temporal regressionda zarur.
Preprocessing butun datasetda fit qilinmasligi kerak.
Evaluation
Metric business vazifaga mos tanlanadi:
- MAE;
- RMSE;
- MAPE;
- R²;
- quantile loss;
- median error;
- subgroup error.
MAPE target nolga yaqin bo‘lsa beqaror.
Bitta metric barcha xato turini ko‘rsatmaydi.
Target transform
Narx va talab kabi targetlar juda notekis distributionga ega bo‘lishi mumkin. Log transform katta qiymatlar ta’sirini kamaytiradi. Inference’da prediction original scale’ga qaytariladi. Transformdan keyingi bias correction kerak bo‘lishi mumkin, chunki exp(mean(log y)) oddiy arithmetic mean bilan teng emas.
Extrapolation
Linear model training diapazonidan tashqarida chiziqni davom ettiradi. Tree modeli esa odatda mavjud leaf qiymatlaridan tashqariga chiqmaydi. Kelajak yoki extreme input uchun extrapolation behavior oldindan tekshiriladi. Model fizik va business constraintlardan tashqari qiymat bermasligi kerak.
Prediction interval
Point prediction bilan birga uncertainty oralig‘i beriladi. Interval calibration holdout data’da tekshiriladi. 90% interval samplelarning taxminan 90% haqiqiy targetini qamrashi kerak.
Bog‘liq tushunchalar
Regression, Linear regression, Residual, Mean Squared Error, Mean Absolute Error, R-squared, Regularization, Quantile regression, Prediction, Supervised learning