RLHF — model javoblarini inson afzalliklariga moslashtirish uchun human feedback va reinforcement learningdan foydalanadigan training yondashuvi. To‘liq nomi Reinforcement Learning from Human Feedback. U ko‘pincha katta til modelini foydali, tushunarli va xavfsizroq assistant behavioriga moslashtirishda ishlatiladi.
RLHF odatda pretrained modeldan boshlanadi va bir nechta bosqichni o‘z ichiga oladi.
Pretrained model
Boshlang‘ich model katta datasetda next-token prediction yoki boshqa self-supervised objective bilan o‘qitiladi.
U til va umumiy patternlarni biladi, ammo instructionga har doim yaxshi amal qilmasligi mumkin.
RLHF umumiy bilimni noldan yaratmaydi, behaviorni preference signal bilan moslashtiradi.
Supervised fine-tuning
Birinchi bosqichda inson yozgan yoki tanlangan yaxshi instruction-response misollarida model fine-tuning qilinadi.
Bu modelga:
- dialog format;
- foydali javob;
- rad etish;
- uslub;
- instructionga amal qilish
ni o‘rgatadi.
SFT modeli keyingi RL bosqichi uchun boshlang‘ich policy bo‘lishi mumkin.
Preference data
Annotatorga bitta prompt va bir nechta model javobi ko‘rsatiladi.
U javoblarni:
- eng yaxshi;
- yomonroq;
- teng;
- muayyan mezon bo‘yicha
taqqoslaydi.
Pairwise preference data reward modelni o‘qitish uchun ishlatiladi.
Annotator mezoni
Inson bahosi aniq rubrikaga tayanadi:
- to‘g‘rilik;
- foydalilik;
- relevance;
- xavfsizlik;
- uslub;
- citation;
- format.
Rubrika noaniq bo‘lsa annotatorlar bir xil javobni turlicha baholaydi.
Reward model
Reward model prompt va javobni qabul qilib, bitta sonli score qaytaradi.
U preference pairlarda yaxshi javobga yuqori score berishga o‘rgatiladi.
Reward haqiqiy inson qadriyatining mukammal o‘lchovi emas.
U training data va rubrikani approximation qiladi.
Policy
Javob yaratuvchi model reinforcement learningdagi policy hisoblanadi.
Policy tokenlar bo‘yicha action distribution beradi.
Generated sequence reward modeldan score oladi.
Optimizer rewardni oshiradigan update qiladi.
PPO
RLHFda tarixan Proximal Policy Optimization keng ishlatilgan.
PPO policy update’ini juda katta qadam bilan o‘zgarmasligi uchun clippingga oid constraint ishlatadi.
Bu training stabilityni yaxshilaydi.
Katta til modelida implementation murakkab va qimmat.
KL penalty
Policy rewardni oshirish uchun SFT modeldan juda uzoqlashib ketmasligi kerak.
KL divergence penalty yangi policy va reference policy orasidagi farqni cheklaydi.
Juda katta penalty moslashuvni cheklaydi.
Juda kichik penalty reward hackingga imkon berishi mumkin.
Reward hacking
Model reward modeldagi zaiflikdan foydalanib yuqori score, ammo yomon real javob yaratishi mumkin.
Masalan:
- keraksiz uzunlik;
- maqtov;
- formatni sun’iy takrorlash;
- rubrika signalini exploit qilish.
Human evaluation va adversarial test reward hackingni aniqlaydi.
Overoptimization
Reward model score’ini juda ko‘p optimallashtirish boshida sifatni oshirib, keyin real human preference’ni yomonlashtirishi mumkin.
Model reward modelning xatosiga moslashadi.
Training checkpointlar real annotatorlar bilan qayta baholanadi.
Preference bias
Annotator preference’i:
- til;
- madaniyat;
- siyosiy qarash;
- uslub;
- uzunlik;
- bilim darajasi
bo‘yicha biasga ega bo‘lishi mumkin.
Turli annotator va regionlar qamrab olinadi.
Bitta guruh preference’i universal deb qabul qilinmaydi.
Safety feedback
Zararli promptlar uchun xavfsiz javoblar taqqoslanadi.
Model qachon yordam berish, qachon cheklash va qachon xavfsiz alternativa berishni o‘rganadi.
Haddan tashqari rad etish foydali so‘rovlarni ham bloklashi mumkin.
Online feedback
Production user rating va reportlari yangi preference data berishi mumkin.
Bu signal:
- manipulyatsiya;
- spam;
- selection bias;
- privacy;
- juda kam context
muammosiga ega.
Raw thumbs-up to‘g‘ridan-to‘g‘ri training label bo‘lib qolmaydi.
RLHF va DPO
DPO preference pairlardan policy’ni bevosita optimallashtiradi va alohida reward model hamda PPO loopini talab qilmasligi mumkin.
RLHF atamasi keng ma’noda human feedback bilan alignment jarayonini ham ifodalashi mumkin.
PPO-based RLHF va DPO texnik jihatdan boshqa optimization usullari.
RLHF va RLAIF
RLAIF preference yoki critique’ni inson o‘rniga yoki inson bilan birga AI modeldan oladi.
Bu data yaratishni tezlashtiradi.
Ammo evaluator model bias va xatolarini ko‘paytirishi mumkin.
Inson nazorati saqlanadi.
Evaluation
RLHF modeli:
- human preference;
- factuality;
- safety;
- refusal;
- helpfulness;
- calibration;
- benchmark;
- subgroup quality
bo‘yicha SFT va base model bilan solishtiriladi.
Reward score yakuniy sifatning yagona metrici emas.
Rollout
Policy bir nechta prompt uchun javoblar yaratadi va reward model ularni baholaydi. Bu generated samplelar rollout deb yuritiladi. Rollout uzunligi, decoding settingi va prompt distributioni training signalini belgilaydi. Faqat oson promptlar ishlatilsa model murakkab holatlarda yaxshilanmaydi.
Advantage
Critic yoki value estimate har javobning kutilgan rewarddan qanchalik yaxshi ekanini baholashga yordam beradi. Advantage policy gradient variance’ini kamaytiradi. Noto‘g‘ri value model update’ni beqaror qilishi mumkin, shu sababli reward, value loss va KL birgalikda kuzatiladi.
Data yangilanishi
Model behaviori o‘zgargani sari eski preference juftliklari yangi policy xatolarini qamramay qoladi. Yangi rollout va human review bilan dataset yangilanadi. Alignment bir martalik bosqich emas, muntazam evaluation jarayonidir.
Maxfiylik
Annotatorga yuborilgan promptlarda personal yoki korporativ ma’lumot bo‘lishi mumkin. Redaction, role-based access va retention qoidalari qo‘llanadi.
Rollback
Yangi aligned checkpoint zararli yoki foydasiz behavior ko‘rsatsa oldingi modelga tez qaytish mumkin. Model, reward va prompt versionlari birga saqlanadi.
Bog‘liq tushunchalar
Reinforcement Learning from Human Feedback, Preference data, Reward model, Policy, PPO, KL divergence, Supervised fine-tuning, DPO, Alignment, Human evaluation