Log management — ilova, operatsion tizim, tarmoq qurilmasi va cloud xizmatlar yaratgan loglarni yig‘ish, uzatish, saqlash, indekslash, qidirish, himoyalash va belgilangan muddatdan keyin yo‘q qilish jarayonidir. U troubleshooting, performance kuzatuvi, audit va xavfsizlik tahlili uchun umumiy telemetry asosini yaratadi.
Log yaratish
Log event vaqt, severity, component, operation, correlation ID va natija kabi tuzilgan maydonlarga ega bo‘lsa mashina orqali qayta ishlash osonlashadi. Erkin matn inson uchun qulay, lekin parser va til o‘zgarishiga sezgir. Structured JSON yoki boshqa schema izchil field nomlarini beradi.
Parol, access token, private key va to‘liq payment ma’lumoti logga yozilmaydi. Sensitive field allowlist va masking bilan boshqariladi. Exception stack trace foydali bo‘lsa ham request body yoki environment secretini tasodifan chiqarishi mumkin.
Yig‘ish va yetkazish
Agent local file yoki journaldan o‘qib, markaziy collector’ga yuboradi. Network uzilganda disk buffer eventni vaqtincha saqlaydi. Backpressure boshqarilmasa agent application diskini to‘ldirishi mumkin; quota va drop policy log turiga qarab belgilanadi.
At-least-once delivery duplicate event keltirishi mumkin. Event ID deduplicationga yordam beradi. At-most-once yo‘qotish ehtimoliga ega. Audit uchun muhim event va debug log bir xil delivery kafolati talab qilmasligi mumkin.
Normalizatsiya va kontekst
Collector timestampni canonical timezonega o‘tkazadi, source host va parser versiyasini qo‘shadi. Original event saqlansa keyin yangi parser bilan qayta ishlash mumkin. Noto‘g‘ri parse qilingan event silently tashlanmaydi; dead-letter oqimi va metrika bo‘ladi.
Trace ID distributed request bo‘ylab loglarni bog‘laydi. User ID, tenant va deployment version diagnostikani yaxshilaydi, lekin privacy va cardinality narxini oshiradi. Har maydon maqsad bilan olinadi.
Saqlash va retention
Yangi log indekslangan hot storage’da, eski log arzon archive’da turishi mumkin. Index hamma maydon uchun yaratilsa xarajat va ingest latency oshadi. Qidiriladigan fieldlar use case asosida tanlanadi, qolgan payload object storage’da saqlanishi mumkin.
Retention qonun, incident investigation ehtiyoji va ma’lumot minimizatsiyasi bilan belgilanadi. Legal hold oddiy deletionni vaqtincha to‘xtatishi mumkin. Muddati tugagan log barcha replica va archive lifecycle bo‘yicha o‘chiriladi.
Yaxlitlik va ruxsat
Hujumchi izini yashirish uchun local logni o‘chirishi mumkin. Markazga tez forward, append-only storage, access separation va cryptographic integrity nazorati buni qiyinlashtiradi. Hash chain o‘zgarishni aniqlashi mumkin, lekin logning boshida haqiqat yozilganini kafolatlamaydi.
Developer production logga doimiy keng ruxsat olmaydi. Role, tenant, vaqt va maqsad bo‘yicha access cheklanadi; qidiruvning o‘zi audit qilinadi. Export qilingan log nusxasi ham shu himoya talabini saqlaydi.
Operatsion sifat
Ingestion lag, dropped event, parser error, storage quota va source silence kuzatiladi. Log tizimi ishlamay qolsa monitoring ham ko‘r bo‘lishi mumkin. Sampling yuqori hajmli muvaffaqiyat eventlarini kamaytiradi, lekin error va security event uchun alohida siyosat kerak.
Schema boshqaruvi
Event schema versionlanadi va field semantikasi hujjatlashtiriladi. status=success qiymatini yangi release’da boshqa ma’noda ishlatish eski dashboard va detectionni yashirin buzadi. Producer change consumer querylar bilan compatibility testdan o‘tadi.
High-cardinality field, masalan tasodifiy request ID, noto‘g‘ri indekslansa storage va query xotirasini keskin oshiradi. U korrelyatsiya uchun saqlanadi, ammo aggregate label sifatida ishlatilmasligi mumkin. Log level productionda dinamik o‘zgarsa, expiry’dan keyin normal holatga qaytadi. Aks holda vaqtinchalik debug rejimi uzoq qolib sensitive data va xarajatni oshiradi.
Bog‘liq tushunchalar
Logging, SIEM, Structured logging, Log retention, Audit log, Event correlation, Observability