Transformer — sequence ma’lumotni recurrence’siz, asosan attention mexanizmi orqali qayta ishlaydigan neural network architecture’si. U til modeli, tarjima, computer vision, speech, multimodal tizim va generativ sun’iy intellektning asosiy architecture’laridan biriga aylangan.
Transformer tokenlar orasidagi bog‘lanishni parallel hisoblashga imkon beradi va uzun contextni RNNga qaraganda samaraliroq o‘rganishi mumkin.
Token representation
Har token avval embedding vektorga aylantiriladi.
Bu vektor tokenning o‘rganiladigan sonli representationi.
Model layerlari embeddingni context asosida yangilaydi.
Natijada bir xil token turli gapda boshqa contextual representation oladi.
Positional information
Attention token tartibini o‘zi bilmaydi.
Shu sababli modelga position ma’lumoti qo‘shiladi.
Usullar:
- sinusoidal positional encoding;
- learned position embedding;
- relative position;
- rotary position embedding;
- boshqa variantlar.
Position usuli context uzunligi va extrapolationga ta’sir qiladi.
Self-attention
Self-attention har tokenning boshqa tokenlar bilan bog‘lanishini hisoblaydi.
Masalan, gapdagi olmosh qaysi otga tegishli ekanini contextdan topishga yordam beradi.
Har token query, key va value representationlariga aylantiriladi.
Attention score query va key o‘xshashligiga tayanadi.
Query, Key va Value
Soddalashtirilgan oqim:
token representation
→ Q, K, V
Query nimani qidirishni, key qaysi ma’lumotga mos kelishni, value esa olinadigan contentni ifodalaydi.
Score softmax orqali weightlarga aylantiriladi.
Output value’larning weighted yig‘indisi.
Scaled dot-product attention
Query va key dot producti dimension kattalashganda katta qiymat berishi mumkin.
Shu sababli score odatda key dimensionning kvadrat ildiziga bo‘linadi.
Keyin mask va softmax qo‘llanadi.
Bu Transformer attentionining asosiy formulasi.
Multi-head attention
Bitta attention o‘rniga bir nechta head parallel ishlaydi.
Har head boshqa relationshipni o‘rganishi mumkin:
- syntax;
- position;
- coreference;
- local pattern;
- long-range dependency.
Head outputlari birlashtirilib projectiondan o‘tadi.
Feed-forward layer
Attentiondan keyin har token uchun bir xil feed-forward network qo‘llanadi.
U odatda:
- linear expansion;
- activation;
- linear projection
dan iborat.
Bu layer token representationini nonlinear transform qiladi.
Residual connection
Har sublayer inputi outputga qo‘shiladi.
Residual connection gradient oqimini yaxshilaydi va chuqur model trainingini yengillashtiradi.
Dimensionlar mos bo‘lishi kerak.
Dropout residual branchda qo‘llanishi mumkin.
Layer normalization
Layer normalization token feature’larini normalizatsiya qiladi.
Pre-norm va post-norm architecture variantlari mavjud.
Pre-norm chuqur model trainingini barqarorlashtirishi mumkin.
Aniq joylashuv model oilasiga bog‘liq.
Encoder
Original Transformer encoder bir nechta:
- self-attention;
- feed-forward;
- normalization;
- residual
bloklaridan tashkil topadi.
Encoder input sequence uchun contextual representation yaratadi.
Classification va retrieval modeli faqat encoderdan foydalanishi mumkin.
Decoder
Decoder autoregressive token generatsiya qiladi.
U masked self-attention orqali kelajak tokenlarni ko‘rmaydi.
Encoder-decoder architecture’da decoder encoder outputiga cross-attention qiladi.
Language model faqat decoder bloklaridan tashkil topishi mumkin.
Causal mask
Autoregressive model token t uchun undan keyingi tokenlarni yashiradi.
Shunda model trainingda ham faqat oldingi context asosida bashorat qiladi.
Mask noto‘g‘ri bo‘lsa future leakage yuz beradi.
Inference’da tokenlar ketma-ket yaratiladi.
Cross-attention
Decoder querylari encoder key va valuelariga attention qiladi.
Bu translation, summarization va image captioningda input representationdan ma’lumot olishga yordam beradi.
Multimodal model text decoderni image encoder bilan cross-attention orqali bog‘lashi mumkin.
Parallel training
RNN sequence’ni qadam-baqadam qayta ishlaydi.
Transformer trainingda barcha token representationlarini parallel hisoblay oladi.
Bu GPU va acceleratorlarda samarali.
Autoregressive inference baribir yangi tokenlarni ketma-ket yaratadi.
Attention murakkabligi
Oddiy self-attention token soniga nisbatan kvadratik memory va compute talab qiladi.
Context ikki baravar bo‘lsa attention matrix ancha kattalashadi.
Yechimlar:
Pretraining
Transformer katta unlabeled datasetda self-supervised objective bilan o‘qitiladi.
Objective:
Keyin model fine-tuning yoki prompting orqali vazifalarga moslashtiriladi.
Vision Transformer
Rasm patchlarga bo‘linib token kabi qayta ishlanadi.
Har patch embedding va position oladi.
Transformer image classification, detection va segmentationda ishlatilishi mumkin.
CNN local biasiga nisbatan ViT katta datasetdan foyda ko‘radi.
Transformer va RNN
Transformer:
- parallel training;
- uzoq bog‘lanish;
- katta scale;
- flexible attention.
RNN:
Architecture vazifa va resursga qarab tanlanadi.
KV cache
Autoregressive inference’da har yangi token uchun oldingi tokenlarning key va value’larini qayta hisoblamaslik uchun KV cache saqlanadi. Cache context uzunligi, layer soni va batch bilan kattalashadi. Quantized cache yoki paged memory serving capacityni yaxshilashi mumkin.
Mixture of Experts
Ayrim Transformer bloklarda token faqat tanlangan expert feed-forward networklarga yo‘naltiriladi. Bu umumiy parameter sonini oshirib, har token uchun compute’ni nisbatan cheklashga yordam beradi. Routing balance va distributed communication murakkablik yaratadi.
Parallelism
Katta Transformer data, tensor, pipeline va sequence parallel usullar bilan bir nechta acceleratorga taqsimlanadi. Communication training samaradorligining asosiy cheklovlaridan biri bo‘lishi mumkin.
Bog‘liq tushunchalar
Transformer architecture, Self-attention, Multi-head attention, Query, Key, Value, Positional encoding, Encoder, Decoder, Feed-forward network, Language model