Data lineage — ma’lumotning manbadan iste’molchigacha qaysi tizim, jadval, ustun va transformatsiyalar orqali o‘tganini ko‘rsatuvchi bog‘lanishlar xaritasidir. U dataset qayerdan kelganini, qanday o‘zgarganini va qaysi hisobot yoki model undan foydalanishini tushuntiradi. Lineage ma’lumotning to‘g‘riligini o‘zi kafolatlamaydi, ammo tekshirish, ta’sir tahlili va audit uchun zarur kontekst beradi.
Darajalar
System-level lineage CRMdan data lake, undan warehouse va BI platformaga oqimni ko‘rsatadi. Table-level lineage qaysi jadval qaysi upstream jadvallardan qurilganini bildiradi. Column-level lineage esa net_revenue ustuni price, quantity, discount va taxdan qanday formula bilan hosil bo‘lganini bog‘laydi. Eng mayda daraja ko‘proq foyda beradi, lekin yig‘ish va saqlash murakkabligi ham oshadi.
Operational lineage ish vaqti, run ID, input snapshot, output versiya va statusni saqlaydi. Design lineage rejalashtirilgan bog‘lanishni, runtime lineage esa ayni bajarishda haqiqatda ishlatilgan inputni ko‘rsatishi mumkin. Dynamic pipeline va shartli branchlarda ular farq qiladi.
Yig‘ish usullari
SQL parser so‘rovdagi source, target va ustun ifodalarini tahlil qiladi. Orchestrator DAG vazifalar bog‘lanishini beradi. Query log, ETL vositasi, BI semantic layer va katalog APIlari qo‘shimcha metadata yetkazadi. Kod dekoratori yoki OpenLineage kabi event formati runtime hodisalarni yuborishi mumkin.
Har usulning ko‘r joyi bor. Dynamic SQL, stored procedure, Python ichidagi erkin transformatsiya, spreadsheet eksporti yoki qo‘lda ko‘chirilgan fayl avtomatik grafikdan yo‘qolishi mumkin. Noma’lum edge “aloqa yo‘q” deb noto‘g‘ri talqin qilinmasligi uchun qamrov darajasi ko‘rsatiladi.
Ta’sir va incident tahlili
Manba ustuni turi o‘zgarsa, downstream jadval, dashboard, API va modellarga traversal qilinadi. Egalar ogohlantiriladi va migratsiya tartibi tuziladi. Sifat testi buzilganda upstream yo‘l bo‘ylab birinchi noto‘g‘ri transformatsiya qidiriladi. Downstream yo‘l esa foydalanuvchiga ta’sir ko‘lamini beradi.
Lineage grafi sikl, juda ko‘p versiya va bir martalik vaqtinchalik jadvallar sabab katta bo‘lishi mumkin. Vaqt bo‘yicha filter, domen, aktiv status va muhimlik darajasi ko‘rinishni boshqaradi. “Hammasini chizish” o‘rniga savolga mos yo‘l ajratiladi.
Provenance va audit
Lineage ko‘pincha strukturaviy oqimga urg‘u beradi. Data provenance ma’lumotni kim, qachon, qaysi usul va dalil asosida yaratgani haqida batafsilroq tarixni qamrab oladi. Audit uchun lineage input versiya, kod commit, parametr va bajaruvchi identitetga havola qilsa, natijani qayta yaratish osonlashadi.
Maxfiy metadata ham ehtiyot boshqariladi. Jadval va ustun nomlari biznes reja yoki shaxsiy ma’lumot mavjudligini ochishi mumkin. Catalog rollari grafdagi ko‘rinishni cheklaydi, lekin incident javob beruvchilar uchun yetarli yo‘l saqlanadi.
Ishonchlilik
Lineage o‘zi ham data productdir: freshness, completeness va correctness metrikalariga ega bo‘ladi. O‘chirilgan pipeline edge lari eskirib qolsa, impact analysis yolg‘on signal beradi. Runtime eventlar soni expected runlar bilan solishtiriladi, tanlangan kritik oqimlar qo‘lda tekshiriladi. Grafikdan qaror chiqarishda uning qamrov va oxirgi yangilanish vaqti ko‘rsatiladi.
Versiyalar orasidagi bog‘lanish
Jadval nomi o‘zgarmasa ham schema va transformatsiya versiyasi o‘zgarishi mumkin. Lineage edge vaqt oralig‘i bilan saqlansa, tarixiy dashboard qaysi formula ishlatganini ko‘rsatadi. Faqat joriy grafni saqlash incidentdan keyin o‘tmish yo‘lini yo‘qotadi. Deployment ID va code commit runtime eventga biriktiriladi.
Row-level lineage
Ba’zi audit vazifalari muayyan output record qaysi input recordlardan hosil bo‘lganini talab qiladi. Row-level lineage kuchli dalil beradi, lekin katta agregatsiyada juda ko‘p edge hosil qiladi va maxfiylik xavfini oshiradi. Amaliy tizim hash, partition yoki query-level dalil bilan kerakli aniqlikni muvozanatlashtiradi.
Bog‘liq tushunchalar
Data provenance, Data catalog, Metadata, Impact analysis, ETL, OpenLineage, Data governance