Diffusion — ma’lumotga bosqichma-bosqich shovqin qo‘shish jarayonini o‘rganib, keyin shovqindan yangi namuna yaratish uchun teskari denoising jarayonidan foydalanadigan generativ model oilasi. Diffusion model rasm, audio, video, 3D va boshqa continuous data generationda keng qo‘llanadi.
Model trainingda real sample qanday asta-sekin noise’ga aylanishini ko‘radi va har bosqichda noise yoki toza signalga oid qiymatni bashorat qilishni o‘rganadi.
Forward process
Forward diffusion real data’dan boshlanadi:
x_0 → x_1 → x_2 → ... → x_T
Har qadamda oz miqdorda Gaussian noise qo‘shiladi.
Ko‘p qadamdan keyin sample deyarli sof random noise’ga aylanadi.
Bu jarayon odatda fixed schedule bilan belgilanadi.
Reverse process
Generation vaqtida random noise olinadi:
x_T → ... → x_2 → x_1 → x_0
Model har qadamda noise’ning bir qismini olib tashlaydi.
Yakunida training distributionga o‘xshash sample hosil bo‘ladi.
Reverse transition neural network bilan parameterlanadi.
Noise prediction
Ko‘p diffusion model joriy noisy sample va timestepdan qo‘shilgan noise’ni bashorat qiladi.
Training loss haqiqiy va predicted noise orasidagi farq bo‘lishi mumkin.
Boshqa parameterization:
- clean sample prediction;
- velocity prediction;
- score prediction.
Scheduler va objective bir-biriga mos bo‘lishi kerak.
Timestep
Model har noise darajasida qanday denoise qilishni bilishi kerak.
Timestep embedding joriy qadamni bildiradi.
U sinusoidal yoki learned representation bo‘lishi mumkin.
Noise darajasi yuqori qadamda global structure, past qadamda mayda detail shakllanishi mumkin.
Noise schedule
Forward processdagi noise miqdori schedule bilan belgilanadi.
Variantlar:
- linear;
- cosine;
- learned;
- boshqa beta yoki sigma schedule.
Schedule training stability va sample sifatiga ta’sir qiladi.
Inference scheduler training formulasi bilan compatible bo‘ladi.
U-Net
Image diffusionda U-Netga o‘xshash architecture keng ishlatiladi.
U:
- downsampling;
- bottleneck;
- upsampling;
- skip connection;
- residual block;
- attention
dan tashkil topadi.
Noisy image va timestep input sifatida olinadi.
Conditioning
Diffusion unconditional yoki conditional bo‘lishi mumkin.
Condition:
- text;
- class;
- image;
- mask;
- depth;
- pose;
- audio;
- style.
Condition modelga qaysi sample yaratilishini yo‘naltiradi.
Text conditioning
Text prompt encoder orqali embeddingga aylantiriladi.
Denoising model cross-attention orqali text tokenlardan foydalanadi.
Promptdagi so‘zlar rasmning object va style xususiyatlariga ta’sir qiladi.
Model barcha murakkab relationni to‘g‘ri tushunmasligi mumkin.
Classifier guidance
Alohida classifier gradienti sample’ni kerakli class tomon yo‘naltirishi mumkin.
Guidance scale oshsa conditionga moslik kuchayadi.
Juda katta scale diversity va naturalnessni pasaytirishi ehtimoli bor.
Classifier-free guidance
Model ayrim training samplelarda conditionni olib tashlab conditional va unconditional predictionni o‘rganadi.
Inference’da ikkala prediction kombinatsiya qilinadi.
Bu alohida classifier talab qilmaydi.
Text-to-image modelda keng ishlatiladi.
Sampling
Original diffusion ko‘p yuz yoki ming qadam talab qilishi mumkin.
Tez samplerlar qadam sonini kamaytiradi.
Variantlar:
- DDPM;
- DDIM;
- Euler;
- Heun;
- DPMga oid solverlar;
- boshqa schedulerlar.
Kam qadam latency’ni kamaytiradi, ammo sifatga ta’sir qilishi mumkin.
Latent diffusion
Pixel space’da yuqori resolution diffusion juda qimmat.
Latent diffusion avval image’ni autoencoder latent space’iga compress qiladi.
Denoising latentda bajariladi, keyin decoder rasmga aylantiradi.
Bu compute va memoryni kamaytiradi.
VAE
Latent diffusionda VAE encoder image’ni kichik latent representationga aylantiradi.
Decoder latentdan pixel image yaratadi.
VAE sifati rang, text va mayda detailga ta’sir qilishi mumkin.
Latent scale model configiga mos bo‘ladi.
Image-to-image
Boshlang‘ich rasmga ma’lum miqdorda noise qo‘shilib, prompt condition bilan qayta denoise qilinadi.
Noise strength katta bo‘lsa originaldan uzoqlashadi.
Kichik bo‘lsa composition ko‘proq saqlanadi.
Bu style transfer va variation uchun ishlatiladi.
Inpainting
Mask qaysi hudud o‘zgartirilishini belgilaydi.
Model mask ichini surrounding context va prompt asosida to‘ldiradi.
Mask cheti, feathering va original latent blending natijaga ta’sir qiladi.
Outpainting canvas tashqarisiga yangi content yaratadi.
Control signal
Pose, edge, depth yoki segmentation kabi strukturali signal diffusionni boshqarishi mumkin.
Qo‘shimcha control network base model feature’lariga condition beradi.
Bu compositionni text promptga qaraganda aniqroq ushlab turadi.
Training data
Generated model training rasmlari va captionlardan distribution o‘rganadi.
Data:
- license;
- consent;
- caption quality;
- duplicate;
- bias;
- sensitive content
bo‘yicha boshqariladi.
Noto‘g‘ri caption text-image alignmentni yomonlashtiradi.
Evaluation
Diffusion sifati:
Text va qo‘l kabi murakkab detail alohida test qilinishi mumkin.
Diffusion va GAN
Diffusion trainingi ko‘pincha barqarorroq va diversity yuqori.
GAN bir forward pass bilan tez generation qilishi mumkin.
Diffusion ko‘p denoising qadam sabab sekinroq, ammo solver va distillation bilan tezlashtiriladi.
Security va provenance
Synthetic media:
- deepfake;
- misinformation;
- impersonation;
- noqonuniy content;
- copyright;
- biometric o‘xshashlik
xavfini yaratadi.
Watermark, metadata, content credential va access policy provenance’ni ko‘rsatishga yordam beradi.
Generated image real hodisaning dalili emas.
Seed
Random seed boshlang‘ich noise generationga ta’sir qiladi. Bir xil model, prompt, scheduler va setting bilan seed natijani qayta yaratishga yordam berishi mumkin. Hardware yoki implementation farqi pixel darajasida boshqa output berishi ehtimoli bor.
Negative prompt
Ayrim image pipelinelarda negative prompt modeldan uzoqlashtiriladigan xususiyatlarni bildiradi. U universal va mutlaq taqiq emas. Juda ko‘p negative condition composition va qualityni yomonlashtirishi mumkin.
Batch generation
Bir prompt uchun bir nechta seed bilan sample yaratiladi. Diversity oshadi, lekin GPU memory va vaqt ko‘payadi. Eng yaxshi sample tanlashda faqat aesthetic score emas, promptga moslik va artifactlar tekshiriladi.
Model fine-tuning
Diffusion model LoRA, DreamBoothga oid usul yoki full fine-tuning bilan ma’lum subject va style’ga moslashtirilishi mumkin. Kichik dataset memorization va identity misuse xavfini oshiradi.
Bog‘liq tushunchalar
Diffusion model, Denoising, Noise schedule, U-Net, Classifier-free guidance, Latent diffusion, VAE, Text-to-image, Inpainting, DDPM, Generative model