Metadata

Metadata — boshqa ma’lumot haqida ma’lumot beradigan tavsifiy yozuvlar to‘plami. U data’ning mazmuni, kelib chiqishi, tuzilishi, egasi, yaratilgan vaqti, formati, sifati va undan foydalanish qoidalarini ifodalaydi.

Metadata ma’lumotning o‘zi emas, uni tushunish, topish, boshqarish va tekshirishga yordam beradigan kontekst hisoblanadi.

Tavsifiy metadata

Tavsifiy metadata data obyektini topish va tushunishga yordam beradi.

Misollar:

nom;
sarlavha;
tavsif;
kalit so‘z;
muallif;
kategoriya;
til.

Kutubxona katalogi, fayl indeksi va data catalog shu turdagi metadata’dan foydalanadi.

Strukturaviy metadata

Strukturaviy metadata ma’lumot qanday tashkil qilinganini ko‘rsatadi.

Masalan:

table schema;
column nomi;
data type;
field tartibi;
nested structure;
foreign key;
file bo‘limlari.

Bu data parser, query engine va integration uchun muhim.

Ma’muriy metadata

Ma’lumotni boshqarish uchun ishlatiladi.

Misollar:

owner;
access level;
license;
retention;
encryption holati;
yaratilgan vaqt;
o‘zgartirilgan vaqt;
storage joyi.

Governance va compliance jarayonlari shu metadata’ga tayanadi.

Texnik metadata

Tizim ishlashi uchun kerakli texnik xususiyatlarni saqlaydi.

Masalan:

file format;
encoding;
compression;
checksum;
row count;
partition;
table size;
index;
API version;
schema version.

Texnik metadata avtomatik yig‘ilishi mumkin.

Business metadata

Data fieldlarining business ma’nosini tushuntiradi.

Masalan:

active_customer

qaysi shart bilan hisoblanishi, qaysi vaqt oralig‘ini qamrab olishi va qaysi jamoa egasi ekanini ko‘rsatadi.

Faqat column nomi metric semantikasini to‘liq tushuntirmaydi.

Operational metadata

Pipeline va data processing jarayonining holatini saqlaydi.

Misollar:

job start va end vaqti;
processed row soni;
error;
retry;
source watermark;
batch ID;
freshness;
pipeline versioni.

Bu monitoring va incident tahlili uchun ishlatiladi.

Provenance

Metadata data qayerdan kelganini ko‘rsatadi.

Masalan:

source database;
source table;
API;
file;
event stream;
manual input.

Data provenance audit va ishonchlilikni baholashga yordam beradi.

Lineage

Data lineage ma’lumot qaysi transformlardan o‘tganini ko‘rsatadi.

Misol:

orders
→ cleaned_orders
→ daily_sales
→ dashboard

Source field o‘zgarsa qaysi model va report ta’sirlanishini aniqlash mumkin.

Schema metadata

Database system catalogida:

haqidagi metadata saqlanadi.

Query optimizer ham statistics va schema metadata’dan foydalanadi.

File metadata

Fayl metadata’si:

nom;
hajm;
MIME type;
checksum;
yaratilgan vaqt;
owner;
permission;
format versioni.

Image faylda width, height, camera va location metadata bo‘lishi mumkin.

Maxfiy joylashuv ma’lumoti fayl tarqatilishidan oldin olib tashlanishi mumkin.

Embedded metadata

Metadata obyektning o‘zida saqlanadi.

Masalan:

image EXIF;
audio tag;
PDF properties;
file header;
columnar file schema.

Afzalligi — data bilan birga ko‘chadi.

Kamchiligi — yashirin maxfiy ma’lumot ham tarqalishi mumkin.

External metadata

Metadata alohida catalog, database yoki registry’da saqlanadi.

Bu markaziy search, ownership va governance beradi.

Lekin data bilan metadata orasidagi bog‘lanish buzilmasligi kerak.

Stable ID va URI ishlatiladi.

Metadata catalog

Data catalog tashkilotdagi datasetlarni qidirish va boshqarish uchun metadata’ni birlashtiradi.

Catalog:

search;
tag;
owner;
glossary;
lineage;
quality;
access request

imkoniyatlarini berishi mumkin.

Catalog faqat avtomatik scanner bilan emas, business owner ma’lumoti bilan ham boyitiladi.

Data dictionary

Data dictionary fieldlar va ularning ma’nosini hujjatlashtiradi.

Misol:

Field	Ma’nosi	Type
`order_total`	Chegirmadan keyingi summa	Decimal
`created_at`	Order yaratilgan vaqt	Timestamp

Bu developer, analyst va auditor uchun umumiy reference bo‘ladi.

Metadata harvesting

Scanner database, storage va pipeline’lardan metadata’ni avtomatik yig‘adi.

schema;
table;
field;
job;
dependency;
statistikalar

ni oladi.

Credential minimal read permissionga ega bo‘ladi.

Metadata quality

Metadata ham eskirishi yoki noto‘g‘ri bo‘lishi mumkin.

Muammolar:

owner ketgan;
tavsif eski;
schema o‘zgargan;
field nomi mos emas;
lineage uzilgan;
classification qo‘yilmagan.

Metadata freshness va completeness metriclari kuzatiladi.

Versioning

Schema va data contract o‘zgarganda metadata versiyalanadi.

Oldingi dataset versiyasi qaysi schema bilan yaratilgani aniqlanishi kerak.

Versioning reproducibility va audit uchun muhim.

Security metadata

Data classification:

public;
internal;
confidential;
restricted

ko‘rinishida bo‘lishi mumkin.

Shuningdek:

personal data;
payment data;
secret;
retention;
region

belgilari qo‘shiladi.

Access policy shu metadata asosida avtomatlashtirilishi mumkin.

Metadata va data

Metadata data’dan ajralgan bo‘lsa ham uning bir qismi kabi boshqariladi.

Backup, permission, audit va retention talab qilinadi.

Metadata yo‘qolsa data fizik mavjud bo‘lsa ham uni topish va to‘g‘ri talqin qilish qiyinlashadi.

Metadata lineage’ining identifikatori

Data obyektlari barqaror ID bilan belgilanadi.

Table rename yoki file path o‘zgarganda lineage butunlay uzilib ketmasligi uchun faqat nomga tayanilmaydi.

Catalog source tizim identifikatori, schema va object ID kombinatsiyasidan foydalanishi mumkin.

Glossary

Business glossary tashkilotdagi muhim atamalarga yagona ta’rif beradi.

Masalan:

faol foydalanuvchi;
daromad;
churn;
tasdiqlangan order.

Glossary term dataset va columnlarga bog‘lanadi.

Bu bir xil atamaning turli jamoalarda boshqa ma’noda ishlatilishini kamaytiradi.

Search

Catalog search faqat obyekt nomini emas, tavsif, glossary, owner va column metadata’sini ham indekslaydi. Sinonimlar bir tushunchaning turli nomlarini topishga yordam beradi.

Bog‘liq tushunchalar

Data catalog, Data dictionary, Schema, Data lineage, Data provenance, Dataset, Technical metadata, Business metadata, Governance, Data classification