Log analytics — dastur, operatsion tizim, tarmoq va qurilmalar yaratgan log yozuvlarini yig‘ish, strukturaga keltirish, qidirish va statistik tahlil qilish jarayonidir. Uning maqsadi hodisalarni vaqt bo‘yicha ko‘rish, nosozlik sababini izlash, xizmat holatini o‘lchash va xavfsizlik signallarini aniqlashdir.
Ma’lumot oqimi
Log manbada matn, JSON, syslog yoki vendor formatida paydo bo‘ladi. Agent yoki collector yozuvni o‘qib, markaziy pipelinega uzatadi. Pipeline parser, timestamp normalizatsiyasi, field enrichment va routingni bajaradi. Natija qidiruv indeksi, object storage yoki maxsus log databasega yoziladi.
manba → collector → parse/filter → storage → query → dashboard/alert
Har bosqichda delivery holati kuzatiladi. Collector bufferi to‘lsa yoki storage yozishni rad etsa, drop counter, retry va dead letter mexanizmi ma’lumot yo‘qolishini ko‘rsatishi kerak. Pipeline logining o‘zi ham kuzatiladi, aks holda observability tizimidagi nosozlik yashirin qoladi.
Parsing va schema
Structured logging fieldlarni yozuv yaratilgan paytda ajratadi. level, service, trace_id, duration_ms kabi maydonlar queryni matndan regex bilan ajratishga qaraganda barqarorroq qiladi. Timestamp timezone va precision bilan normalizatsiya qilinadi; original vaqt kerak bo‘lsa alohida saqlanadi.
Parser xatosida yozuvni butunlay tashlash o‘rniga raw message, source va parse_error belgisi saqlanishi mumkin. Bu format o‘zgarganini aniqlashga yordam beradi. Schema evolution eski va yangi field nomlari bir davrda uchrashishini hisobga oladi.
Yuqori cardinality fieldlar — request ID yoki foydalanuvchi kiritgan erkin matn — har doim indeks dimensioni bo‘lishi shart emas. Ularni noto‘g‘ri indekslash xotira va storage narxini oshiradi. Qidiruv talabi, cardinality va retention asosida indeks, label yoki oddiy saqlanadigan field tanlanadi.
Qidiruv va agregatsiya
Full-text search ma’lum ibora yoki xatoni topadi. Structured filter service, environment, severity va vaqt oralig‘ini toraytiradi. Aggregation request soni, error rate yoki latency taqsimotini hisoblaydi. Natijaning ma’nosi denominator va sampling bilan belgilanadi: faqat error loglarini sanash umumiy requestlar sonisiz error rate bermaydi.
Trace ID bir requestning turli servicelardagi loglarini bog‘laydi. Host, container va deployment metadata o‘zgaruvchi infratuzilmada manbani aniqlashga yordam beradi. Correlation vaqt mosligi va identifikator sifatiga bog‘liq; bir xil matn ikki hodisa aynan bitta transactionga tegishli ekanini isbotlamaydi.
Dashboard va alertlar
Dashboard trend va taqsimotni ko‘rsatadi, ammo u diagnostikaning boshlang‘ich nuqtasidir. Panel querysi, vaqt oynasi, timezone va filterlari saqlangan object tarkibiga kiradi. Query o‘zgarsa grafik xom loglar o‘zgarmagan holda boshqacha ko‘rinadi.
Alert belgilangan query yoki aggregation shartini davriy tekshiradi. Kech kelgan log, ingest uzilishi va takror yozuvlar signalga ta’sir qiladi. Alert “ma’lumot yo‘q” holatini “xato yo‘q” deb qabul qilmasligi kerak. Evaluation interval, lookback va deduplication hodisa xususiyatiga moslanadi.
Retention va xavfsizlik
Issiq storage tez qidiruv uchun, sovuq qatlam uzoq muddatli va arzon saqlash uchun ishlatilishi mumkin. Retention texnik diagnostika, audit talabi va xarajat o‘rtasidagi muvozanatdir. Rollup eski loglarning faqat agregatlarini qoldiradi, ammo individual hodisa tafsiloti qayta tiklanmaydi.
Loglarda token, parol, shaxsiy ma’lumot yoki request body chiqishi mumkin. Manbada redaction eng kuchli choradir; pipeline maskalashi qo‘shimcha himoya beradi. Role-based access, encryption, audit va tenant chegaralari kim qaysi logni ko‘rishini boshqaradi. Maxfiy qiymat indeksga kirgach uni faqat dashboarddan yashirish yetarli emas.
Tahlil cheklovlari
Log application yozgan hodisalarnigina ifodalaydi. Yozilmagan yoki collector yo‘qotgan hodisa tahlilda ko‘rinmaydi. Clock drift tartibni buzishi, retry esa duplicate yozuv yaratishi mumkin. Shu sabab log xulosalari metric, trace, deployment event va tizim holati bilan tekshiriladi.
Bog‘liq tushunchalar
Structured logging, Log collector, Parsing, Full-text search, Aggregation, Retention, Distributed tracing