Decoder — latent representation, oldingi outputlar yoki boshqa conditiondan target data hosil qiladigan model komponenti. Transformer encoder-decoder tizimida decoder avvalgi target tokenlarga causal self-attention qiladi va encoder outputidan cross-attention orqali foydalanib navbatdagi token ehtimolini chiqaradi.
Decoder layeri
Birinchi sublayer masked multi-head self-attention bo‘lib, har pozitsiya faqat o‘zi va oldingi target tokenlarni ko‘radi. Causal mask kelajak score’larini softmaxdan chiqaradi. Ikkinchi sublayer cross-attention: query decoderdan, key va value encoderdan olinadi. Uchinchi qism position-wise feed-forward networkdir.
Har sublayer residual connection va normalization bilan o‘raladi. Decoder-only model cross-attentionga ega bo‘lmasligi mumkin; u prompt va avvalgi tokenlarni bitta causal sequence sifatida qayta ishlaydi.
Training
Teacher forcing’da decoder inputiga haqiqiy oldingi target tokenlar beriladi. Target bir pozitsiyaga siljitiladi: input boshlanish belgisi bilan, label esa keyingi token bilan boshlanadi. Causal mask bo‘lmasa model kelajak javobni ko‘rib, training loss sun’iy past bo‘ladi.
Cross-entropy padding tokenlarni ignore qiladi. Label smoothing modelning haddan tashqari ishonchini kamaytirishi mumkin. Training barcha target pozitsiyalarini parallel hisoblaydi, chunki mask dependency’ni numerical tarzda cheklaydi.
Autoregressive inference
Inference’da haqiqiy target yo‘q; model chiqargan token keyingi qadam inputiga aylanadi. Greedy, beam search, top-k yoki nucleus sampling token tanlaydi. Deterministic vazifada beam, creative generationda sampling ko‘proq ishlatiladi. Maximum length va stop token cheksiz generationni to‘xtatadi.
KV cache oldingi layer key-value’larini saqlab, har qadamda butun prefixni qayta hisoblamaydi. Cache xotirasi context, layer, batch va head bilan o‘sadi. Requestlar cache’i aralashmasligi va session tugaganda tozalanishi kerak.
Exposure bias
Training decoder haqiqiy oldingi tokenni, inference esa o‘z xatosini ko‘radi. Bir xato keyingi contextni buzib, error accumulation yaratadi. Scheduled sampling taklif qilingan usullardan biri, ammo objective nomuvofiqligi bor. Sequence-level training va robust data yordam berishi mumkin.
Boshqa decoderlar
Autoencoder decoder latent code’dan inputni reconstruct qiladi. Image segmentation decoder past resolution feature’ni upsampling qilib pixel mapga aylantiradi. TTS decoder text representationdan spectrogram yaratadi. Diffusion decoder yoki denoiser noise’dan sample tiklaydi. Har holatda output likelihood va generation jarayoni turlicha.
Baholash
Token loss bilan birga sequence-level metric, factuality, latency, memory va stop behavior tekshiriladi. Beam width yoki sampling parametri natijaning bir qismidir va hisobotda qayd etiladi. Decoder outputi probability modelidan keladi; u fakt kafolati emas. High-stakes tizim retrieval, constraint, validation va human review bilan himoyalanadi.
Amaliy tekshiruv
Decoder bilan ishlaydigan tajribada target shift, causal mask, stop token va cache model konfiguratsiyasi bilan birga qayd etiladi. Taqqoslash bir xil data split, preprocessing, random seed va hisoblash budjetida bajariladi. Asosiy natija sequence metric, latency va generation barqarorligi orqali ko‘riladi; faqat training loss yoki bitta qulay sample yetarli dalil bermaydi. Kichik synthetic test matematik xulqni, alohida real test esa shovqin, noodatiy uzunlik va domain shiftni tekshiradi. Regression test output shape, numerical finite qiymatlar va boundary holatlarini qamraydi. Monitoring ayniqsa teacher forcing bilan inference o‘rtasidagi farqni erta aniqlashga qaratiladi. Model versiyasi, parametrlar va baholash protokoli natija bilan saqlanadi, chunki bir xil nomdagi komponent turli kutubxona yoki checkpointda boshqa convention asosida ishlashi mumkin. Yuqori xavfli qo‘llanishda avtomatik natija human review va aniq fallback bilan cheklanadi.
Bog‘liq tushunchalar
Transformer architecture, Encoder, Causal mask, Cross-attention, Beam search, KV cache, Autoregressive model