Multimodal — bir nechta ma’lumot turini, masalan matn, rasm, audio, video, sensor yoki jadvalni birgalikda qayta ishlash va ular orasidagi bog‘lanishni o‘rganish xususiyati. Multimodal model bir modality’dan input olib boshqasida output yaratishi yoki bir nechta modality’ni birgalikda tushunishi mumkin.
Misollar:
- rasmga qarab savolga javob;
- audio transkript;
- textdan rasm;
- video tavsifi;
- rasm va matn orqali qidiruv.
Modality
Modality ma’lumotning ifoda turi.
Keng turlar:
Har modality o‘z sampling, format va preprocessingiga ega.
Encoder
Har modality uchun alohida encoder bo‘lishi mumkin.
Masalan:
- text encoder;
- vision encoder;
- audio encoder.
Encoder raw inputni embedding yoki token representationga aylantiradi.
Keyin ular umumiy modelga uzatiladi.
Shared embedding space
Text va image bir xil vector space’da o‘qitilishi mumkin.
Mos image-caption pairlar yaqin, mos bo‘lmaganlar uzoq joylashadi.
Bu:
- text-to-image retrieval;
- image-to-text retrieval;
- zero-shot classification
uchun foydali.
Fusion
Bir nechta modality representationlarini birlashtirish fusion deb ataladi.
Yondashuvlar:
Tanlov data alignment va architecture’ga bog‘liq.
Early fusion
Raw yoki past darajadagi feature’lar erta birlashtiriladi.
Model modalitylar orasidagi local interactionni boshidan o‘rganadi.
Format va vaqt alignmenti yaxshi bo‘lishi kerak.
Bir modality yo‘q bo‘lsa modelga muammo bo‘lishi mumkin.
Late fusion
Har modality alohida modelda qayta ishlanadi.
Yakuniy score yoki decision keyin birlashtiriladi.
Bu modular va missing modalityga chidamliroq.
Ammo nozik cross-modal interactionni kamroq o‘rganishi mumkin.
Cross-attention
Bir modality query sifatida boshqasining key va value’lariga attention qiladi.
Masalan, text tokenlar image patchlarga qaraydi.
Bu savoldagi so‘z bilan rasmning tegishli hududini bog‘lashga yordam beradi.
Image token
Vision encoder rasmni patch yoki region representationlariga ajratadi.
Har patch text tokeniga o‘xshash vector sifatida modelga berilishi mumkin.
Resolution oshsa token soni va compute ko‘payadi.
Mayda matn uchun yuqori resolution yoki OCR kerak.
Audio token
Audio waveform spectrogram, frame yoki learned discrete tokenlarga aylantirilishi mumkin.
Model speech, music va environmental soundni farqlashi mumkin.
Uzoq audio context va sampling rate memory xarajatiga ta’sir qiladi.
Video
Video vaqt bo‘yicha frame’lar ketma-ketligi.
Model spatial va temporal ma’lumotni qayta ishlaydi.
Har frame’ni to‘liq yuqori resolutionda berish juda qimmat.
Frame sampling, clip va temporal encoder ishlatiladi.
Image captioning
Rasm encoderi visual feature yaratadi.
Text decoder shu feature asosida caption tokenlarini generatsiya qiladi.
Model object, relation va scene’ni tavsiflaydi.
Noyob object yoki noaniq rasmda hallucination yuz berishi mumkin.
Visual question answering
User rasm va savol beradi.
Model savolga relevant rasm qismini topib javob yaratadi.
Vazifalar:
- counting;
- reading text;
- object relation;
- chart;
- document;
- spatial reasoning.
Rasmda ko‘rinmaydigan ma’lumot uydirilmasligi kerak.
Document understanding
Scan yoki PDFda:
birga ishlanadi.
OCR tokenlari coordinate va visual feature bilan birlashtiriladi.
Bu invoice, forma va arxiv automationda qo‘llanadi.
Text-to-image
Text prompt generativ image modelga condition bo‘ladi.
Model promptdagi object, style va compositionga mos visual sample yaratadi.
Text encoder semantic representation beradi.
Diffusion model uni denoising jarayonida ishlatishi mumkin.
Speech va text
Speech recognition audio’dan text, TTS textdan audio yaratadi.
Unified multimodal model speechni bevosita tushunib, audio yoki text javob berishi mumkin.
Direct speech-to-speech emotion va prosodyni yaxshiroq saqlashi ehtimoli bor.
Alignment
Turli modalitylar vaqt yoki ma’no bo‘yicha moslashtiriladi.
Misollar:
Noto‘g‘ri pairlar modelni chalkashtiradi.
Missing modality
Real tizimda rasm yo‘q, audio buzilgan yoki metadata yetishmasligi mumkin.
- fallback;
- mask;
- single-modality mode;
- confidence;
- user xabari
bilan ishlaydi.
Missing inputni nol qiymat bilan yashirish har doim to‘g‘ri emas.
Evaluation
Har modality va combined task alohida baholanadi:
- caption quality;
- retrieval recall;
- OCR accuracy;
- speech WER;
- visual QA;
- grounding;
- hallucination;
- latency.
Bir modality kuchli bo‘lib, boshqasi zaif bo‘lishi mumkin.
Safety
Multimodal input yangi xavflarni keltiradi:
- rasm ichidagi prompt injection;
- yashirin text;
- deepfake;
- biometric data;
- sensitive document;
- audio command;
- harmful visual content.
Security filter har modality va cross-modal interpretationni hisobga oladi.
Spatial grounding
Model textdagi objectni rasmdagi aniq region bilan bog‘lashi mumkin. Natija bounding box, mask yoki point ko‘rinishida beriladi. “Chapdagi tugma” kabi ko‘rsatmalar UI automationda spatial grounding talab qiladi. Coordinate image resize va cropdan keyin to‘g‘ri transform qilinadi.
Modality dominance
Model ba’zan osonroq modalityga ortiqcha tayanadi. Masalan, video mazmunini ko‘rmasdan faqat subtitle’dan javob berishi mumkin. Evaluation bir modalityni yashirish yoki zid signal berish orqali haqiqiy fusionni tekshiradi.
Synchronization
Audio va video timestamp bo‘yicha mos bo‘lishi kerak. Dubbing, frame drop yoki capture delay alignmentni buzadi. Model segmentlar orasidagi vaqt munosabatini hisobga oladi.
Output modality
Multimodal model javobni text, audio, rasm yoki action sifatida qaytarishi mumkin. Har output turi alohida safety va format validationdan o‘tadi.
Bog‘liq tushunchalar
Multimodal AI, Modality, Vision encoder, Audio encoder, Cross-attention, Shared embedding space, Image captioning, Visual question answering, Speech model, Text-to-image