NLP — kompyuterlarning inson tilini qayta ishlashi, tahlil qilishi va yaratishini o‘rganadigan sun’iy intellekt hamda kompyuter lingvistikasi sohasi. To‘liq nomi Natural Language Processing. NLP matn va nutq bilan ishlaydigan qidiruv, tarjima, chatbot, sentiment analysis, classification, speech recognition va boshqa tizimlarning nazariy hamda amaliy asosini tashkil qiladi.
Inson tili grammatik, semantik va kontekstual jihatdan murakkab bo‘lgani sabab NLP faqat so‘zlarni sanash bilan cheklanmaydi.
Matnni tayyorlash
Klassik NLP pipeline ko‘pincha matnni tayyorlashdan boshlanadi.
Jarayonlar:
- encodingni to‘g‘rilash;
- lowercase;
- punctuationni boshqarish;
- tokenization;
- sentence segmentation;
- stop word;
- stemming;
- lemmatization;
- normalization.
Har vazifa uchun barcha bosqich majburiy emas.
Masalan, zamonaviy til modeli punctuation va case ma’lumotidan foyda olishi mumkin.
Tokenization
Tokenization matnni kichik birliklarga ajratadi.
Misol:
Men dasturlashni o‘rganaman.
so‘z darajasida:
Men | dasturlashni | o‘rganaman | .
Subword tokenizer kam uchraydigan so‘zlarni qismlarga bo‘lishi mumkin.
O‘zbek tilidagi qo‘shimchalar tokenizationga alohida talab yaratadi.
Sentence segmentation
Matn gaplarga bo‘linadi.
Nuqta har doim gap oxiri emas:
Dr. Karimov keldi.
Qisqartma, son, URL va ism segmentatsiyani murakkablashtiradi.
Tilga mos qoidalar yoki machine-learning model ishlatiladi.
Stemming
Stemming so‘z oxiridagi qo‘shimchalarni oddiy qoidalar bilan kesadi.
Natija har doim lug‘aviy to‘g‘ri so‘z bo‘lishi shart emas.
Masalan, bir nechta shaklni umumiy stemga olib keladi.
Search va information retrievalda foydali bo‘lishi mumkin.
Lemmatization
Lemmatization so‘zni lug‘aviy asosiy shaklga olib keladi.
Buning uchun:
- morphology;
- part of speech;
- lug‘at;
- kontekst
kerak bo‘lishi mumkin.
Stemmingga qaraganda lingvistik jihatdan aniqroq, ammo murakkabroq.
Part-of-Speech tagging
Har tokenning grammatik turini aniqlash:
- ot;
- fe’l;
- sifat;
- ravish;
- olmosh;
- bog‘lovchi.
Bir so‘z kontekstga qarab boshqa tur bo‘lishi mumkin.
POS tagging parsing va information extractionda ishlatiladi.
Named Entity Recognition
NER matndan nomlangan entitylarni topadi:
- shaxs;
- tashkilot;
- joy;
- sana;
- pul;
- mahsulot;
- hujjat.
Misol:
Farrukh Sherkulov Toshkentda ishlaydi.
Bu yerda shaxs va joy entitylari ajratilishi mumkin.
Domain-specific entitylar uchun maxsus dataset kerak bo‘ladi.
Parsing
Syntactic parsing gapning grammatik tuzilishini aniqlaydi.
Yondashuvlar:
- constituency parsing;
- dependency parsing.
Dependency tree so‘zlar orasidagi boshqaruv va bog‘lanishni ko‘rsatadi.
Bu relation extraction va grammar analysisda foydali.
Semantika
Semantik tahlil matn nimani anglatishini aniqlashga intiladi.
Vazifalar:
- word sense;
- semantic similarity;
- entailment;
- relation extraction;
- question answering;
- intent detection.
Bir xil so‘z turli kontekstda boshqa ma’noga ega bo‘lishi mumkin.
Sentiment analysis
Matndagi munosabatni aniqlaydi:
- ijobiy;
- salbiy;
- neytral;
- yoki ko‘p darajali score.
Ironiya, kinoya va aralash fikr natijani murakkablashtiradi.
Product review va social media monitoringda ishlatiladi.
Text classification
Matn oldindan belgilangan categoryga ajratiladi.
Masalan:
- spam;
- support mavzusi;
- yangilik turi;
- zararli content;
- til.
Model label va training data sifatiga bog‘liq.
Multi-label classification bitta matnga bir nechta label beradi.
Machine translation
Bir tildagi matnni boshqa tilga aylantirish.
Tarjima:
- grammatika;
- kontekst;
- terminologiya;
- idiom;
- ism;
- format
ni saqlashga harakat qiladi.
Domain glossary va human review professional tarjimada muhim.
Information retrieval
Qidiruv tizimi query va document orasidagi relevance’ni hisoblaydi.
Klassik usullar:
- TF-IDF;
- BM25;
- inverted index.
Zamonaviy usullar embedding va neural rerankingdan foydalanadi.
Keyword va semantic search birga ishlashi mumkin.
Language model
Language model token ketma-ketligi ehtimolini o‘rganadi.
Oldingi n-gram modellar cheklangan contextga ega edi.
Neural network va Transformer uzunroq context va representationni yaxshiladi.
LLM NLPning ko‘plab vazifalarini yagona model orqali bajarishi mumkin.
Dataset
NLP dataset:
- raw corpus;
- labeled sentence;
- parallel translation;
- question-answer;
- entity annotation;
- speech transcript
bo‘lishi mumkin.
Til, dialekt va domain bo‘yicha representativlik muhim.
Kam resursli tillarda sifatli labeled data cheklangan bo‘lishi mumkin.
Evaluation
Metric vazifaga bog‘liq:
- accuracy;
- precision;
- recall;
- F1;
- BLEU;
- ROUGE;
- perplexity;
- exact match;
- human evaluation.
Bitta metric real user sifatini to‘liq ifodalamaydi.
Errorlar til va guruhlar bo‘yicha alohida ko‘riladi.
O‘zbek tili
O‘zbek tili agglutinative xususiyatga ega: bitta asosga ko‘p qo‘shimcha ulanadi.
Bu:
- tokenization;
- morphology;
- lemmatization;
- spelling variantlari;
- lotin va kirill yozuvi
uchun alohida model hamda dataset talab qiladi.
Transliteratsiya va apostrof belgilarining turli yozilishi normalizationga ta’sir qiladi.
Ambiguity
Inson tili ko‘p ma’noli. Bir gap lexical, syntactic yoki pragmatic jihatdan bir nechta talqinga ega bo‘lishi mumkin. Model faqat jumlani emas, oldingi dialog, domain va speaker maqsadini ham hisobga oladi. Context yetishmasa tizim confidence’ni pasaytirishi yoki aniqlashtirish so‘rashi mumkin.
Rule-based va statistical yondashuv
Klassik NLP lug‘at, grammar va qo‘lda yozilgan qoidalarga tayangan. Statistical va neural model patternlarni datadan o‘rganadi. Qoidalar nazorat va izohlanishda, neural model esa murakkab variationda kuchli. Ko‘p production tizim ikkalasini birlashtiradi.
Privacy
Matnda ism, telefon, manzil va maxfiy business ma’lumoti bo‘lishi mumkin. NLP pipeline log, annotation va model trainingda ularni himoyalaydi.
Bog‘liq tushunchalar
Natural Language Processing, Tokenization, Lemmatization, Named Entity Recognition, Text classification, Sentiment analysis, Machine translation, Language model, Corpus, Computational linguistics