Data collection — tadqiqot, monitoring, mahsulot yoki operatsion qaror uchun kerakli kuzatuvlarni belgilangan usulda yig‘ish jarayonidir. Jarayon ma’lumotni shunchaki ko‘paytirish emas; maqsad, populyatsiya, o‘lchov vositasi, vaqt, rozilik va sifat nazoratini birlashtiradi. Noto‘g‘ri yig‘ilgan katta to‘plam aniq savolga mos kichik to‘plamdan kamroq foyda berishi mumkin.
Reja va o‘lchov
Avval qaysi qaror yoki gipoteza uchun ma’lumot kerakligi aniqlanadi. Har maydonning ta’rifi, birligi, ruxsat etilgan qiymati va yangilanish chastotasi data dictionaryda yoziladi. O‘lchov birligi bilan kuzatuv birligi aralashtirilmaydi: sensor har soniyada harorat o‘lchashi mumkin, lekin tahlil obyekti qurilma yoki xona bo‘lishi mumkin.
Operational tizim loglari, tranzaksiya bazasi, anketa, intervyu, sensor, ochiq dataset va uchinchi tomon APIlari manba bo‘la oladi. Primary data muayyan maqsad uchun bevosita yig‘iladi; secondary data oldin boshqa maqsadda yaratilgan bo‘ladi. Ikkinchi turda ta’rif va qamrov joriy savolga mosligi tekshiriladi.
Tanlanma va tarafkashlik
Butun populyatsiyani kuzatish imkonsiz bo‘lsa, sampling ishlatiladi. Tasodifiy tanlanma har birlikka ma’lum ehtimol beradi; stratified sampling muhim guruhlarni alohida qamrab oladi. Convenience sample faqat oson topilgan ishtirokchilarni olib, umumlashtirishni cheklaydi.
Non-response bias javob bermaganlar javob berganlardan tizimli farq qilganda paydo bo‘ladi. Survivorship bias faqat saqlanib qolgan obyektlarni ko‘radi. Instrumentation o‘zgarsa, vaqt qatori haqiqiy hodisadan emas, o‘lchov usulidan sakrashi mumkin. Shu sababli qurilma, dastur versiyasi va schema o‘zgarishi metadata sifatida saqlanadi.
Pipeline va tekshiruv
Kirishda schema, type, diapazon, uniqueness va majburiy maydonlar tekshiriladi. Noto‘g‘ri yozuvni jim tashlab yuborish to‘liqlikni buzadi; u quarantine hududiga ajratilib, sabab hisoblanadi. Batch uchun manba satrlari, qabul qilingan, rad etilgan va dublikat yozuvlar soni reconciliation jadvalida solishtiriladi.
Streaming yig‘ishda kechikkan va tartibsiz hodisalar, duplicate delivery va clock skew hisobga olinadi. Event ID deduplikatsiya, event time esa vaqt oynasi uchun ishlatiladi. Backpressure qabul qiluvchi sekinlashganda producer yoki broker oqimini boshqaradi. Raw qatlam dastlabki dalilni saqlashi mumkin, ammo maxfiy ma’lumot uchun saqlash muddati qo‘llanadi.
Etika va xavfsizlik
Faqat “keyin kerak bo‘lishi mumkin” degan sabab bilan ortiqcha shaxsiy ma’lumot yig‘ish xavf va xarajatni oshiradi. Data minimization maqsadga zarur maydonlarni tanlaydi. Rozilik aniq, maqsadga xos va qaytarib olinadigan bo‘lishi kerak; huquqiy asos yurisdiksiyaga qarab farq qiladi.
Transport va saqlash shifrlanadi, kirish rollar bilan cheklanadi, audit yuritiladi. Identifikatorni almashtirish anonimlikni avtomatik ta’minlamaydi, chunki boshqa atributlar orqali qayta aniqlash mumkin. Yig‘ish tugagach ham dataset egasi, sifat SLA, foydalanish cheklovi va o‘chirish sanasi katalogda qayd etiladi.
Instrument kalibratsiyasi
Sensor va anketa savoli bir xil konstruktsiyani barqaror o‘lchashi kerak. Qurilma drift qilsa, muntazam kalibratsiya reference qiymat bilan farqni aniqlaydi. Dastur telemetrysida event nomi saqlansa ham, trigger kodi o‘zgarganda semantika almashishi mumkin. Canary tekshiruvlar kutilgan user flowda kerakli eventlar sonini oldindan ma’lum natija bilan solishtiradi.
Pilot bosqichi
Katta yig‘ishdan oldin kichik pilot savollarning tushunarliligi, maydon to‘ldirish va pipeline limitlarini ko‘rsatadi. Pilot natijasi asosida schema o‘zgarsa, uning ma’lumoti asosiy dataset bilan aralashtirilishidan oldin compatibility belgilanadi. Collection protokoli muzlatilgach, har o‘zgarish versiya va kuchga kirish sanasi bilan qayd etiladi.
Bog‘liq tushunchalar
Sampling, Data quality, Data pipeline, Schema validation, Observational study, Data minimization, Metadata