RAG — generativ modelga javob yaratishdan oldin tashqi manbalardan tegishli ma’lumotlarni topib, ularni context sifatida beradigan yondashuv. To‘liq nomi Retrieval-Augmented Generation. RAG til modelining training vaqtida o‘rgangan umumiy bilimini document, database, search yoki tashkilotning ichki ma’lumotlari bilan boyitadi.
RAG ayniqsa tez yangilanadigan, yopiq yoki manba bilan tasdiqlanishi kerak bo‘lgan ma’lumotlar uchun qo‘llanadi.
Asosiy oqim
Oddiy RAG pipeline:
- user savoli olinadi;
- query representation yaratiladi;
- relevant document yoki chunk qidiriladi;
- topilgan qismlar promptga qo‘shiladi;
- generativ model javob yaratadi;
- manba va natija qaytariladi.
Har bosqichdagi xato yakuniy javobga ta’sir qiladi.
Knowledge source
Ma’lumot manbasi:
- PDF;
- wiki;
- database;
- ticket;
- email;
- product documentation;
- web page;
- code repository;
- CRM;
- API.
Source accessi user permissioniga mos bo‘lishi kerak.
RAG authorizationni chetlab o‘tmasligi kerak.
Ingestion
Documentlar qidiruv tizimiga tayyorlanadi.
Jarayon:
- formatni parse qilish;
- text extraction;
- metadata;
- cleaning;
- chunking;
- embedding;
- indexga yozish;
- version saqlash.
OCR sifati past bo‘lsa retrieval ham yomonlashadi.
Chunking
Uzun document kichik qismlarga bo‘linadi.
Chunk o‘lchami:
- juda kichik bo‘lsa context yo‘qoladi;
- juda katta bo‘lsa irrelevant matn ko‘payadi;
- token sarfi oshadi;
- embedding ma’nosi umumlashib ketadi.
Heading, paragraph va semantic boundary asosida bo‘lish foydali.
Overlap
Qo‘shni chunklar orasida ma’lum overlap qoldirilishi mumkin.
Bu bo‘linish chegarasidagi gap yoki tushunchani saqlaydi.
Juda katta overlap duplicate retrieval va index hajmini oshiradi.
Overlap document turiga qarab tanlanadi.
Embedding retrieval
Query va chunk embeddinglari bir vector space’da yaratiladi.
Nearest-neighbor search semantic jihatdan yaqin qismlarni topadi.
Bu exact keyword bo‘lmasa ham ma’nodosh contentni topishi mumkin.
Embedding modeli til va domainni yaxshi qo‘llashi kerak.
Keyword retrieval
BM25 yoki inverted index exact so‘z, ism, code va raqamda kuchli.
Semantic embedding esa ma’no o‘xshashligini topadi.
Hybrid retrieval ikki score’ni birlashtiradi.
Proper name va technical identifier uchun keyword signal muhim.
Metadata filter
Qidiruv faqat vector similarityga tayanmaydi.
- tenant;
- document type;
- sana;
- til;
- product;
- access level;
- version;
- author
bo‘yicha filter qilinadi.
Filter retrievaldan oldin yoki keyin qo‘llanishi mumkin.
Reranking
Birinchi retriever ko‘proq candidate topadi.
Reranker query va har candidate’ni chuqurroq model bilan baholaydi.
Top natijalar generativ modelga beriladi.
Reranking sifatni oshiradi, ammo latency va cost qo‘shadi.
Query rewriting
User savoli search uchun noaniq bo‘lishi mumkin.
Model queryni:
- qisqartiradi;
- termin qo‘shadi;
- acronymni ochadi;
- bir nechta subqueryga ajratadi;
- oldingi dialog contextini qo‘shadi.
Rewrite asl intentni o‘zgartirib yubormasligi kerak.
Multi-query retrieval
Bir savolning bir nechta variantlari yaratiladi.
Har variant bo‘yicha qidiruv qilinib natijalar birlashtiriladi.
Bu recallni oshiradi.
Duplicate va past sifatli candidate’lar fusion orqali boshqariladi.
Context assembly
Topilgan chunklar promptga tartibli joylashtiriladi.
Har chunkga:
qo‘shilishi mumkin.
Token limit sabab hamma candidate berilmaydi.
Diversity va relevance muvozanatlanadi.
Grounded generation
Prompt modelga faqat berilgan manbalarga tayanish, yetarli ma’lumot bo‘lmasa buni aytish va citation berishni buyurishi mumkin.
Model baribir contextdan tashqari ma’lumot qo‘shishi ehtimoli bor.
Output claimlari source bilan alohida tekshirilishi mumkin.
Citation
Citation chunk yoki original documentga bog‘lanadi.
Model yaratgan reference matnini ko‘r-ko‘rona qabul qilish o‘rniga system citation mappingni retrieval metadata’dan quradi.
User source’ni ochib tekshira olishi kerak.
Freshness
Document o‘zgarsa eski chunklar indexda qolmasligi kerak.
Pipeline:
- update;
- delete;
- re-embed;
- version;
- cache invalidation
ni boshqaradi.
Source timestamp va index timestamp kuzatiladi.
Access control
RAGning eng muhim qatlamlaridan biri permission-aware retrieval.
User faqat o‘zi ko‘ra oladigan documentlarni oladi.
Topilgan private chunk keyin umumiy cache yoki logga tushib qolmasligi kerak.
Tenant isolation index va metadata filterda enforced qilinadi.
Prompt injection
Document ichida modelga zararli instruction yozilgan bo‘lishi mumkin.
RAG source contentni data sifatida belgilaydi.
Tool call, secret va system behavior document ko‘rsatmasi bilan o‘zgarmaydi.
Source trust va content sanitization qo‘llanadi.
Evaluation
RAG alohida bosqichlarda baholanadi:
- retrieval recall;
- precision;
- ranking;
- context relevance;
- answer correctness;
- faithfulness;
- citation accuracy;
- latency.
Faqat final javobni ko‘rish qaysi bosqich xato qilganini ko‘rsatmaydi.
RAG va fine-tuning
RAG factual va yangilanadigan ma’lumotni runtime contextga olib kiradi.
Fine-tuning model behavior, domain uslubi va task formatini o‘zgartiradi.
Document har kuni o‘zgarsa RAG qulay.
Ikkalasi bir tizimda birga ishlashi mumkin.
Parent-child retrieval
Qidiruv kichik chunk embeddingi bilan bajarilib, modelga uning kattaroq parent sectioni berilishi mumkin. Kichik chunk relevance’ni aniq topadi, parent esa yetarli kontekst beradi. Parent permission va versioni child bilan mos bo‘lishi kerak.
Contextual chunk
Chunkka document title, heading va qisqa context qo‘shib embed qilish mumkin. Bu alohida paragraphning qaysi mavzuga tegishli ekanini saqlaydi. Lekin metadata texti barcha chunklarda takrorlanib similarity’ni bir tomonga og‘dirishi mumkin.
Cache
Query, retrieval va generation natijalari cache qilinishi mumkin. Cache key user permissioni, index versioni va modelga bog‘liq. Private javob boshqa userga berilmaydi. Source yangilanganda stale cache tozalanadi.
Abstention
Relevant manba topilmasa tizim javobni taxmin qilish o‘rniga ma’lumot yetarli emasligini bildiradi. Threshold va fallback user vazifasiga mos kalibrlanadi.
Bog‘liq tushunchalar
Retrieval-Augmented Generation, Information retrieval, Embedding, Vector database, Chunking, Reranking, Hybrid search, Grounding, Citation, Prompt injection