Data locality — hisoblash vazifasini kerakli ma’lumot saqlanadigan joyga yaqin bajarish tamoyilidir. Maqsad katta hajmdagi ma’lumotni tarmoq orqali uzoq workerga ko‘chirish o‘rniga, kod yoki kichik boshqaruv xabarini ma’lumot tomoniga yuborishdir. Bu tamoyil taqsimlangan hisoblash, NUMA serverlar, protsessor keshlari va edge tizimlarida kechikish hamda tarmoq xarajatini kamaytiradi.
Lokalitet darajalari
Node-local holatda vazifa bilan data bir hostda turadi. Rack-local joylashuvda ular bir rack ichida, ammo boshqa serverlarda bo‘ladi. Data center yoki region-local daraja uzoq geografik uzatishdan qochadi. Hadoop singari tizim schedulerga blok replikalari joyini berib, map vazifasini tegishli DataNodega qo‘yishga harakat qiladi.
Protsessor ichida spatial locality yaqin manzillar ketma-ket o‘qilishini, temporal locality esa yaqinda ishlatilgan qiymat yana kerak bo‘lishini anglatadi. Cache line, prefetch va sahifa joylashuvi shu xususiyatlardan foydalanadi. NUMA tizimida xotira qaysi soketga biriktirilgani muhim: boshqa soket yadrosi unga interconnect orqali murojaat qilib, ko‘proq kechikish va bandwidth talashuviga duch keladi.
Scheduler qarori
Scheduler faqat lokalitetni maksimal qilsa, ma’lumot turgan host band bo‘lganda vazifa uzoq kutishi mumkin. Delay scheduling qisqa muddat lokal slotni kutadi, so‘ng klasterdan foydalanish pasaymasligi uchun remote workerga ruxsat beradi. Qaror data hajmi, task davomiyligi, tarmoq yuklanishi va navbat maqsadiga asoslanadi.
Input bir nechta manbadan keladigan join uchun bitta “lokal” joy bo‘lmasligi mumkin. Dvigatel kichik jadvalni barcha workerga broadcast qiladi yoki ikkala katta jadvalni umumiy partition key bo‘yicha shuffle qiladi. Partitioning oldindan join kalitiga mos bo‘lsa, qayta taqsimlash kamayadi. Skewli kalit esa bir workerga haddan tashqari ko‘p data yuborishi mumkin.
Bulut va obyekt saqlash
Compute va object storage alohida xizmat bo‘lganda disk host-lokal emas. Shunga qaramay, bir region va availability zonada joylashtirish tarmoq kechikishi hamda egress xarajatini kamaytiradi. Lokal SSD kesh takroriy bloklarni yaqin tutadi. Cache missda remote obyekt o‘qiladi; consistency va eviction siyosati eski nusxa xavfini boshqaradi.
Edge computing foydalanuvchi yoki sensor yaqinida filtrlash va agregatsiya bajaradi. Markazga xom video yoki telemetry o‘rniga zarur natija yuboriladi. Ammo edge node cheklangan quvvatga ega, model va siyosat versiyasini boshqarish murakkab, lokal nosozlikda data yo‘qolmasligi uchun buffer va sinxronlash kerak.
Kuzatuv va muvozanat
Local task ulushi, remote bytes, shuffle hajmi, cache hit, cross-zone trafik va NUMA remote access metrikalari kuzatiladi. Lokalitet yaxshi ko‘rinsa ham bitta hot partition barcha ishni sekinlashtirishi mumkin. Replikatsiya ko‘proq joyda lokal nusxa beradi, lekin saqlash va consistency xarajatini oshiradi.
Maxfiylik ham joylashuvni cheklaydi. Ma’lumot ma’lum hududdan chiqmasligi kerak bo‘lsa, scheduler faqat ruxsat etilgan regiondagi workerlarni tanlaydi. Demak, data locality tezlik optimizatsiyasi bilan birga resurs, chidamlilik, compliance va narx siyosatlari ichida qo‘llanadi.
Container va virtual mashina
Container scheduler podni local persistent volume yoki oldindan yuklangan model image mavjud nodega affinity bilan qo‘yishi mumkin. Qat’iy affinity resurs yetishmaganda schedulingni bloklaydi, preferred affinity esa imkon bo‘lsa lokal joyni tanlaydi. Virtual mashinani boshqa hostga live migration qilish compute va storage lokalitetini ajratishi mumkin; ko‘chirishdan keyin cache soviydi. Shu sababli placement constraintlar failure domain va autoscaling bilan birga loyihalanadi.
Bog‘liq tushunchalar
Distributed computing, NUMA, Data partitioning, Scheduler, Cache locality, Edge computing, Data replication