Evaluation — dastur, model, algoritm yoki tizimning belgilangan maqsadga qanchalik mos kelishini mezonlar va dalillar orqali baholash jarayonidir. U oddiy testdan kengroq bo‘lishi mumkin: test ma’lum talab bajarilganini tekshirsa, evaluation sifat, samaradorlik, xavf, foydalanish qulayligi va alternativalar bilan taqqoslashni o‘z ichiga oladi. Natija ishonchli bo‘lishi uchun maqsad, dataset, metrika va qaror chegarasi oldindan aniqlanadi.
Savol va mezon
“Tizim yaxshimi” degan savol o‘lchanmaydi. Uni latency service darajasiga mosmi, classification xatosi qaysi guruhda yuqori yoki yangi editor vazifani tezroq tugatadimi kabi aniq savollarga ajratish kerak. Har savolga primary metric va guardrail metric tanlanadi. Faqat throughputni oshirish error rate yoki xarajatni yomonlashtirishi mumkin.
Baseline mavjud versiya, sodda algoritm yoki inson jarayoni bo‘lishi mumkin. Baselinesiz yuqori ko‘ringan raqam amaliy yaxshilanishni isbotlamaydi. Acceptance threshold biznes va xavfsizlik talabi bilan bog‘lanadi; u natijani ko‘rgandan keyin qulay qilib o‘zgartirilmaydi.
Ma’lumot va tajriba
Evaluation dataset real foydalanish taqsimotini aks ettirishi, lekin test qilinayotgan tizimni o‘qitishda ishlatilmagan bo‘lishi kerak. Data leakage natijani sun’iy oshiradi. Vaqtga bog‘liq tizimlarda random split kelajak ma’lumotini o‘tmishga sizdirishi mumkin; temporal split to‘g‘riroq.
Sample hajmi va variance hisobga olinadi. Bir martalik benchmark background load sabab chalg‘itadi, shuning uchun warm-up, bir necha run va confidence interval qo‘llanadi. A/B test random assignment va exposure loggingga tayanadi. Foydalanuvchi tadqiqotida vazifa, kuzatuv va sifatli feedback raqamli metrikani tushuntiradi.
Metrikani talqin qilish
Average tail latencyni yashiradi; p95 va p99 interaktiv xizmatda muhim bo‘lishi mumkin. Classification accuracy sinflar nomutanosib bo‘lsa yetarli emas, precision, recall va confusion matrix kerak bo‘ladi. Security evaluation faqat bloklangan hujumlarni emas, normal trafikdagi false positive va bypassni ham o‘lchaydi.
Subgroup tahlili umumiy o‘rtachada yashiringan yomon natijani ko‘rsatadi. Biroq ko‘p segment va metrikani tekshirish tasodifiy “yutuq” topish ehtimolini oshiradi; oldindan reja va multiple comparison nazorati zarur. Statistik ahamiyat amaliy ahamiyatga teng emas: juda kichik farq katta sample’da significant chiqishi mumkin.
Takrorlanuvchanlik
Hisobot kod versiyasi, configuration, hardware, dataset identifikatori va metric implementationni qayd etadi. Xom natija immutable saqlanib, agregatsiya qayta bajarila oladi. Cheklov va noma’lumliklar ochiq yoziladi. Evaluation production monitoringni almashtirmaydi; real taqsimot o‘zgarsa drift yuz beradi va baholash davriy takrorlanadi.
Offline va online natija
Offline benchmark tez, arzon va takrorlanuvchan, ammo production interactionni to‘liq aks ettirmaydi. Cache, network, foydalanuvchi moslashuvi va downstream qarorlar online natijani o‘zgartiradi. Avval offline threshold bajariladi, keyin shadow traffic yoki canary bilan xavfsiz tekshiruv o‘tkaziladi. Shadow rejim qarorni foydalanuvchiga qo‘llamaydi, lekin real inputda output va latencyni yozadi. Online tajribada rollback mezoni oldindan belgilanadi. Yangi model primary metricni yaxshilab, guardrail sifatidagi shikoyat yoki compute xarajatini yomonlashtirsa rollout to‘xtaydi. Evaluation artifacti qarorning dalili sifatida saqlanadi, faqat yakuniy bitta raqam emas.
Human evaluation’da annotator ko‘rsatmasi, kelishuv darajasi va disagreement sababi saqlanadi. Noaniq vazifada “ground truth”ning o‘zi bahsli bo‘lishi mumkin; faqat majority label haqiqat deb olinmaydi.
Bog‘liq tushunchalar
Benchmark, Metric, Baseline, A/B testing, Statistical significance, Data leakage, Reproducibility