Dataset — ma’lum maqsad uchun yig‘ilgan va birgalikda qaraladigan ma’lumotlar to‘plami. Dataset table, fayllar, image, audio, matn, event, graph yoki bir nechta formatlarning kombinatsiyasidan iborat bo‘lishi mumkin.
Dataset atamasi data science, machine learning, analytics, database va ilmiy hisoblashda ishlatiladi. Uning aniq tuzilishi vazifaga bog‘liq.
Record
Dataset ichidagi bitta kuzatuv yoki obyekt record deb ataladi.
Misollar:
- bitta user;
- bitta transaction;
- bitta rasm;
- bitta audio yozuv;
- bitta sensor o‘lchovi;
- bitta hujjat.
Record field, feature yoki annotationlarga ega bo‘lishi mumkin.
Feature
Feature model yoki tahlil uchun ishlatiladigan attribute.
Masalan, uy narxini baholash datasetida:
- maydon;
- xona soni;
- region;
- qurilgan yil.
Feature raw yoki transform qilingan bo‘lishi mumkin.
Label
Supervised machine learning datasetida kutilgan javob label.
Misollar:
- spam yoki spam emas;
- rasm kategoriyasi;
- narx;
- sentiment;
- obyekt koordinatasi.
Label sifati model sifatiga to‘g‘ridan-to‘g‘ri ta’sir qiladi.
Tabular dataset
Row va columnlardan iborat.
Misollar:
Har row bir observation, har column feature yoki target.
Schema va data type aniq bo‘lishi kerak.
Unstructured dataset
Matn, image, audio va video kabi qat’iy table shakliga ega bo‘lmagan ma’lumotlar.
Ular bilan birga metadata saqlanadi:
Asl binary object storage’da, metadata catalogda bo‘lishi mumkin.
Semi-structured dataset
JSON, XML yoki log kabi fieldlari mavjud, ammo barcha recordlar bir xil schema’ga ega bo‘lmasligi mumkin.
Schema evolution va missing fieldlar boshqariladi.
Nested structure analytical tablega flatten qilinishi mumkin.
Training dataset
Model parametrlarini o‘rganish uchun ishlatiladi.
Training data real distributionni yetarli ifodalashi kerak.
Duplicate, label leakage va sampling bias model natijasini noto‘g‘ri qiladi.
Validation dataset
Model variantlari, hyperparameter va early stopping uchun ishlatiladi.
Validation data trainingdan alohida.
Model validation setga haddan tashqari moslashtirilsa u ham amalda trainingning bir qismiga aylanadi.
Test dataset
Yakuniy modelning umumlashtirish qobiliyatini baholaydi.
Test set model tanlash davomida qayta-qayta ishlatilmasligi kerak.
Aks holda natija optimistik bo‘lib qoladi.
Split
Dataset training, validation va test qismlariga ajratiladi.
Oddiy random split barcha holatda to‘g‘ri emas.
Masalan:
- timeseries — vaqt bo‘yicha;
- user event — user bo‘yicha;
- medical image — patient bo‘yicha;
- document — source bo‘yicha.
Bir entity turli splitlarga tushsa leakage yuz beradi.
Data leakage
Model training paytida real inference vaqtida mavjud bo‘lmaydigan ma’lumotni ko‘rsa leakage yuz beradi.
Misollar:
Leakage juda yuqori, ammo real hayotda yaroqsiz natija beradi.
Dataset versioning
Data o‘zgarganda version yaratiladi.
Version quyidagilarni bog‘laydi:
Model qaysi dataset versiyasi bilan o‘qitilgani qayd etiladi.
Metadata
Dataset metadata’si:
Metadata datasetni topish va to‘g‘ri talqin qilishga yordam beradi.
Data quality
Tekshiruvlar:
- missing rate;
- duplicate;
- invalid type;
- range;
- class balance;
- schema drift;
- label consistency;
- outlier;
- freshness.
Faqat file mavjudligi dataset sifatli ekanini anglatmaydi.
Sampling bias
Dataset umumiy populationni noto‘g‘ri ifodalasa model yoki tahlil biasli bo‘ladi.
Masalan, faqat faol userlar ma’lumotidan barcha userlar xulqini baholash.
Sampling usuli va cheklovi dokumentatsiyada ko‘rsatiladi.
Class imbalance
Classification datasetida bir class juda kam bo‘lishi mumkin.
Masalan:
99.9% normal
0.1% fraud
Accuracy yuqori ko‘rinsa ham fraud topilmasligi mumkin.
Precision, recall va class-specific metriclar ishlatiladi.
Annotation
Image, audio va matn datasetlari inson yoki avtomatik vosita bilan label qilinadi.
Annotation guideline:
- aniq ta’rif;
- edge case;
- bir nechta annotator;
- disagreement;
- quality review
ni belgilaydi.
Inter-annotator agreement label aniqligini ko‘rsatishi mumkin.
License
Datasetdan foydalanish huquqi license bilan belgilanadi.
Cheklovlar:
- commercial use;
- redistribution;
- attribution;
- derivative work;
- personal data;
- region.
Internetda ochiq turgan data avtomatik erkin license degani emas.
Privacy
Dataset personal yoki maxfiy ma’lumotni o‘z ichiga olishi mumkin.
Himoya:
- minimization;
- anonymization;
- pseudonymization;
- access control;
- encryption;
- retention;
- deletion.
Identifikatorlarni olib tashlash har doim qayta identifikatsiyani imkonsiz qilmaydi.
Dataset card
Dataset card uning maqsadi, tarkibi, yig‘ilish usuli, cheklovi va ma’lum biaslarini hujjatlashtiradi.
Bu datasetdan noto‘g‘ri kontekstda foydalanishni kamaytiradi.
Model va dataset lineage birga saqlanadi.
Reproducibility
Datasetni qayta yaratish uchun:
- source snapshot;
- extraction query;
- transformation code;
- random seed;
- dependency version;
- split qoidasi
saqlanadi.
Faqat tayyor faylni saqlash uning qanday yaratilganini tushuntirmaydi.
Dataset drift
Production data vaqt o‘tishi bilan training datasetdan farq qilishi mumkin.
orqali ko‘rinadi.
Drift avtomatik ravishda model xato degani emas, ammo qayta baholash talab qiladi.
Arxiv
Eski dataset versiyalari checksum, schema va yaratish metadata’si bilan arxivlanadi. Retention tugaganda boshqariladigan tarzda o‘chiriladi.
Bog‘liq tushunchalar
Data collection, Record, Feature, Label, Training set, Validation set, Test set, Data quality, Data leakage, Dataset versioning, Metadata