Forget gate — LSTM cell state’ida oldingi ma’lumotning qanchasi keyingi qadamga o‘tishini boshqaradigan elementwise gate. Joriy input va oldingi hidden state’dan sigmoid orqali hisoblanib, har bir cell dimension uchun nol bilan bir oralig‘ida qiymat beradi.
Hisoblash
Input va h_{t-1} concatenation qilinib weight matrix hamda bias’dan o‘tadi. Sigmoid natijasi f_t oldingi c_{t-1} bilan ko‘paytiriladi. Qiymat birga yaqin bo‘lsa ma’lumot saqlanadi, nolga yaqin bo‘lsa unutiladi. Amaliy qiymatlar yumshoq aralashma bo‘lib, mutlaq binary switch emas.
Forget gate yangi ma’lumotni yozmaydi; bu input gate vazifasi. Cell update eski qism va yangi candidate yig‘indisidan iborat. Output gate esa yangilangan cellning hidden state’da ko‘rinishini boshqaradi.
Xotira davomiyligi
Bir necha qadamda forget qiymatlari ketma-ket ko‘payadi. Ular doim 0.9 atrofida bo‘lsa ham juda uzoq sequence’da ta’sir kamayadi. Model kerakli pattern uchun gate’ni birga yaqin saqlashni, segment tugaganda pasaytirishni o‘rganadi.
Forget bias’ini musbat boshlash dastlab sigmoidni yuqoriroq qiymatga olib kelib, xotirani erta o‘chirib yubormaslikka yordam beradi. Bu universal optimal qoida emas; task va framework initializationi bilan tekshiriladi.
Gradientga ta’siri
Cell state bo‘yicha gradient forget gate bilan scale qilinadi. Birga yaqin qiymat gradientni yaxshi o‘tkazadi, kichik qiymat esa oldingi qadam bilan aloqani uzadi. Shu mexanizm LSTM’ga adaptive memory beradi, ammo sigmoid saturatsiyasi gate parameter gradientini kichraytirishi mumkin.
Gradient clipping exploding gradientni boshqaradi, layer normalization gate input masshtabini barqarorlashtiradi. Gate activation histogrami barcha qiymat doim nol yoki birga yopishib qolganini ko‘rsatishi mumkin.
Tahlil va xatolar
Visualization ma’lum tokenlarda gate pasayishini ko‘rsatadi, lekin “model aynan shu faktni unutdi” degan qat’iy xulosa bermaydi. Cell dimensionlari distributed representationdir. Gate’ni qo‘lda majburlab ablation qilish causal ta’sirni yaxshiroq tekshiradi.
Implementationda f_t cell state bilan elementwise ko‘paytirilishi kerak; noto‘g‘ri broadcasting batch yoki dimensionni aralashtiradi. Stateful inference’da yangi session boshida eski cell reset qilinmasa gate maxfiy yoki semantik tarixni boshqa oqimga olib o‘tadi. Mask tugagan sequence uchun state’ni o‘zgartirmasligi lozim.
Amaliy tekshiruv
Forget gate bilan ishlaydigan tajribada gate activation distributioni va forget bias model konfiguratsiyasi bilan birga qayd etiladi. Taqqoslash bir xil data split, preprocessing, random seed va hisoblash budjetida bajariladi. Asosiy natija saqlash davomiyligi bo‘yicha ablation natijasi orqali ko‘riladi; faqat training loss yoki bitta qulay sample yetarli dalil bermaydi. Kichik synthetic test matematik xulqni, alohida real test esa shovqin, noodatiy uzunlik va domain shiftni tekshiradi. Regression test output shape, numerical finite qiymatlar va boundary holatlarini qamraydi. Monitoring ayniqsa gate doim yopiq yoki ochiq qolishini erta aniqlashga qaratiladi. Model versiyasi, parametrlar va baholash protokoli natija bilan saqlanadi, chunki bir xil nomdagi komponent turli kutubxona yoki checkpointda boshqa convention asosida ishlashi mumkin. Yuqori xavfli qo‘llanishda avtomatik natija human review va aniq fallback bilan cheklanadi.
Gate qiymatlari turli sequence uzunligi va input turida solishtirilib, model faqat trainingdagi odatiy chegaralarni yodlab olmagani ham tekshiriladi.
Bog‘liq tushunchalar
Long Short-Term Memory, Cell state, Input gate, Output gate, Hidden state, Sigmoid function, Vanishing gradient