Cell state — Long Short-Term Memory networkida vaqt qadamlaridan o‘tadigan ichki xotira vektori. U c_t bilan belgilanadi va hidden state’dan alohida boshqariladi. Additive update yo‘li gradientning ko‘p qadam davomida saqlanishiga oddiy RNN state’iga qaraganda qulayroq sharoit yaratadi.
Yangilanish formulasi
Oldingi cell state c_{t-1} forget gate f_t bilan elementwise ko‘paytiriladi. Yangi candidate g_t input gate i_t bilan ko‘paytiriladi. Ikki qism yig‘ilib c_t = f_t ⊙ c_{t-1} + i_t ⊙ g_t hosil bo‘ladi. Har dimension qancha unutish va yozishni alohida o‘rganadi.
Hidden state h_t cell state’ning tanh transformi va output gate orqali olinadi. Shuning uchun cell ichida saqlangan barcha ma’lumot har qadamda tashqi outputga chiqmaydi. Keyingi gate hisoblari odatda oldingi hidden state va joriy inputga tayanadi.
Gradient oqimi
Cell state yangilanishining additive tabiati gradient uchun qisqa yo‘l beradi. Forget gate birga yaqin bo‘lsa oldingi cell ta’siri yaxshi saqlanadi; nolga yaqin bo‘lsa uziladi. Bu vanishing gradientni butunlay yo‘q qilmaydi, ammo modelga saqlash muddatini o‘rganish imkonini beradi.
Cell qiymati nazoratsiz o‘sishi mumkin. tanh hidden outputni cheklaydi, lekin internal state magnitude katta qolishi ehtimoli bor. Gradient clipping, normalization va stable initialization qo‘llanadi. Debug’da cell norm vaqt bo‘yicha kuzatiladi.
Hidden state bilan farqi
Hidden state downstream layer va keyingi qadam gate’lariga ko‘rinadigan representation. Cell state esa LSTM ichidagi memory highway. Ularning dimensioni klassik LSTM’da teng, projection variantida hidden output kichikroq bo‘lishi mumkin. Inference checkpointida ikkala state ham kerak.
Stateful processingda chunk tugaganda c va h keyingi chunkka uzatiladi. Faqat hidden state’ni uzatib cell’ni nol qilish modelning tarixini buzadi. Yangi sequence boshlanishida ikkisi reset qilinadi yoki encoder state’i bilan initialize qilinadi.
O‘rganilgan mazmun
Cell dimensionlari sintaktik holat, signal trendi yoki boshqa uzoq feature’ga sezgir bo‘lishi mumkin. Biroq bitta dimension doim bitta inson tushunchasini ifodalaydi degan kafolat yo‘q. Ablation yoki probing causal ta’sir haqida ma’lumot beradi, oddiy visualization esa faqat correlation ko‘rsatadi.
Sensitive sequence’dan hosil bo‘lgan state ma’lumot sizdirishi mumkin. Uni sessiondan tashqari cache, log yoki boshqa foydalanuvchiga uzatish xavfli. Model versiyasi o‘zgarganda state semanticasi va shape’i mos kelmasligi sabab oldingi state invalid qilinadi.
Amaliy tekshiruv
Cell state bilan ishlaydigan tajribada cell norm, forget-input update va session lifecycle model konfiguratsiyasi bilan birga qayd etiladi. Taqqoslash bir xil data split, preprocessing, random seed va hisoblash budjetida bajariladi. Asosiy natija uzoq signalni saqlash qobiliyati orqali ko‘riladi; faqat training loss yoki bitta qulay sample yetarli dalil bermaydi. Kichik synthetic test matematik xulqni, alohida real test esa shovqin, noodatiy uzunlik va domain shiftni tekshiradi. Regression test output shape, numerical finite qiymatlar va boundary holatlarini qamraydi. Monitoring ayniqsa cell qiymatining o‘sishi va sessionlar orasida sizishini erta aniqlashga qaratiladi. Model versiyasi, parametrlar va baholash protokoli natija bilan saqlanadi, chunki bir xil nomdagi komponent turli kutubxona yoki checkpointda boshqa convention asosida ishlashi mumkin. Yuqori xavfli qo‘llanishda avtomatik natija human review va aniq fallback bilan cheklanadi.
Bog‘liq tushunchalar
Long Short-Term Memory, Hidden state, Forget gate, Input gate, Output gate, Vanishing gradient, Stateful inference