GRU

GRU — recurrent neural networkning sequence ichidagi muhim ma’lumotni saqlash va keraksizini unutish uchun gate mexanizmlaridan foydalanadigan turi. To‘liq nomi Gated Recurrent Unit. GRU LSTMga o‘xshash maqsadga ega, ammo uning tuzilishi soddaroq va parameterlari odatda kamroq.

GRU alohida cell state saqlamaydi. Hidden state xotira va output vazifasini birgalikda bajaradi.

Asosiy tuzilma

GRU ikki asosiy gate’dan foydalanadi:

• update gate;
• reset gate.

Bu gate’lar joriy input va oldingi hidden state asosida hisoblanadi.

Yangi hidden state oldingi xotira va candidate state kombinatsiyasidan hosil bo‘ladi.

Update gate

Update gate oldingi hidden state’ning qanchasi saqlanishini belgilaydi.

Qiymat 1ga yaqin bo‘lsa eski ma’lumot ko‘proq davom etadi.

Qiymat 0ga yaqin bo‘lsa yangi candidate state ustunlashadi.

Bu gate LSTMdagi forget va input gate vazifalarining bir qismini birlashtiradi.

Reset gate

Reset gate candidate state hisoblanganda oldingi hidden state’ning qanchasi ishlatilishini boshqaradi.

Qiymat kichik bo‘lsa model eski kontekstni vaqtincha e’tiborsiz qoldiradi.

Bu yangi sequence qismi yoki mavzu almashganda foydali bo‘lishi mumkin.

Candidate state

Candidate state joriy input va reset qilingan oldingi state asosida yaratiladi.

U yangi ma’lumotning ehtimoliy representationi.

Update gate candidate va oldingi hidden state orasidagi yakuniy aralashmani belgilaydi.

Hidden state

GRU faqat hidden state uzatadi:

h_t = GRU(x_t, h_(t-1))

Bu deployment va implementationni LSTMga qaraganda soddalashtiradi.

State size model capacity va memory sarfiga ta’sir qiladi.

Parameter soni

LSTMda odatda to‘rtta transformga yaqin gate va candidate hisoblari mavjud.

GRUda uchta asosiy transform bo‘lishi mumkin.

Shu sababli bir xil hidden size’da GRU kamroq parameter va matrix operationga ega bo‘ladi.

Aniq formula framework implementationiga bog‘liq.

Training tezligi

Kamroq parameter training va inference’ni tezlashtirishi mumkin.

Bu:

• kichik dataset;
• edge device;
• real-time signal;
• cheklangan GPU

uchun foydali.

Biroq haqiqiy tezlik batch, kernel optimization va sequence uzunligiga bog‘liq.

Vanishing gradient

Gate mexanizmi muhim ma’lumotni ko‘p qadam davomida saqlashga yordam beradi.

Oddiy RNNga qaraganda vanishing gradient muammosi kamayadi.

GRU ham cheksiz uzun dependency’ni kafolatlamaydi.

Gradient clipping va to‘g‘ri initialization baribir kerak bo‘lishi mumkin.

Sequence classification

GRU quyidagi vazifalarda ishlatiladi:

• sentiment;
• activity recognition;
• anomaly detection;
• audio classification;
• sensor monitoring;
• user behavior sequence.

Oxirgi hidden state yoki barcha state’lar pooling qilinadi.

Time series

Vaqt qatorida GRU oldingi observationlardan pattern o‘rganadi.

Inputga:

• value;
• calendar signal;
• external variable;
• missing indicator;
• lag feature

berilishi mumkin.

Modelga future ma’lumotning tasodifan training inputga kirib qolishi data leakage yaratadi.

Speech

Streaming speech modelda GRU audio feature’larni vaqt bo‘yicha qayta ishlaydi.

State chunklar orasida saqlanadi.

Past latency uchun unidirectional GRU ishlatiladi.

Offline model bidirectional contextdan foydalanishi mumkin.

Bidirectional GRU

Ikki GRU sequence’ni qarama-qarshi yo‘nalishda qayta ishlaydi.

Output forward va backward state’lardan tuziladi.

Bu NER, tagging va offline speechda foydali.

Kelajak qadamga ehtiyoj real-time deploymentni cheklaydi.

Stacked GRU

Bir nechta GRU layer murakkab temporal representation yaratadi.

Pastki layer local o‘zgarishni, yuqori layer uzoqroq patternni o‘rganishi mumkin.

Layerlar orasida dropout va residual connection ishlatilishi ehtimoli bor.

GRU va LSTM

GRU:

• soddaroq;
• kam parameter;
• bitta state;
• ayrim vazifada tezroq.

LSTM:

• alohida cell state;
• uchta gate;
• xotirani nozikroq boshqarish.

Qaysi architecture yaxshiroq ekani tajriba va deployment chekloviga bog‘liq.

GRU va oddiy RNN

Oddiy RNN har qadamda oldingi state’ni bitta nonlinear transform bilan yangilaydi.

GRU gate orqali eski va yangi ma’lumot miqdorini boshqaradi.

Bu uzoq dependency va training stabilityni yaxshilaydi.

GRU va Transformer

Transformer tokenlar orasidagi bog‘lanishni attention bilan parallel hisoblaydi.

GRU esa ketma-ket ishlaydi va tabiiy persistent state’ga ega.

Streaming sensor va kichik on-device modelda GRU qulay.

Katta til modellari va parallel trainingda Transformer ko‘proq ishlatiladi.

Stateful inference

Online tizimda user yoki device uchun hidden state session bo‘yicha saqlanadi.

Bir session state’i boshqasiga aralashmasligi kerak.

Sequence tugaganda state reset qilinadi.

Uzoq saqlangan state drift yoki memory muammosi yaratishi mumkin.

Evaluation

GRU modeli faqat umumiy loss bilan emas, vazifaga mos metric bilan baholanadi:

• accuracy;
• F1;
• MAE;
• RMSE;
• latency;
• memory;
• real-time factor.

Kichik modelning deployment afzalligi ba’zan ozgina accuracy farqidan muhimroq bo‘lishi mumkin.

Reset holati

Sequence mustaqil samplelarga bo‘linganda hidden state har yangi sample boshida reset qilinadi. Aks holda oldingi sample ma’lumoti keyingisiga o‘tib, training leakage yaratadi. Streamingda esa state ataylab saqlanadi va session identifikatori bilan bog‘lanadi.

Mask

Padding qadamlarida update gate state’ni o‘zgartirmasligi uchun mask qo‘llanadi. Variable-length batchda yakuniy state har sample’ning haqiqiy oxiridan olinadi.

Model compression

GRU weightlari quantization va pruning bilan kichraytirilishi mumkin. Gate activation precisionga sezgir bo‘lishi ehtimoli bor, shuning uchun on-device metric qayta tekshiriladi.

Bog‘liq tushunchalar

Gated Recurrent Unit, Recurrent Neural Network, Update gate, Reset gate, Hidden state, LSTM, Sequence model, Time series, Bidirectional GRU, Vanishing gradient