OCR

OCR — rasm, skan, foto yoki PDF sahifasidagi yozuvni kompyuter qayta ishlay oladigan matnga aylantirish texnologiyasi. To‘liq nomi Optical Character Recognition. OCR hujjat raqamlashtirish, arxiv, chek, pasport, kitob, forma va avtomatik data entry tizimlarida ishlatiladi.

OCR faqat harfni tanishdan iborat emas. Real tizim sahifa tuzilishi, matn bloklari, jadval, shrift, til va tasvir sifatini ham hisobga oladi.

Kiruvchi tasvir

OCR manbasi:

• scanner;
• mobil kamera;
• screenshot;
• PDF;
• fax;
• tarixiy hujjat;
• qo‘lda yozilgan forma

bo‘lishi mumkin.

Tasvir aniqligi, kontrasti, burilishi va yoritilishi natijaga kuchli ta’sir qiladi.

Preprocessing

Tanishdan oldin tasvir tozalanadi.

Usullar:

• grayscale;
• binarization;
• noise removal;
• sharpening;
• contrast;
• deskew;
• dewarping;
• crop;
• rotation;
• background removal.

Noto‘g‘ri preprocessing nozik harf qismlarini yo‘qotishi mumkin.

Binarization

Tasvir qora va oq pixelga aylantiriladi.

Global threshold barcha sahifaga bitta qiymat qo‘llaydi.

Adaptive threshold turli yoritilgan hududlarda mahalliy qiymat ishlatadi.

Sarg‘aygan qog‘oz yoki soyali foto uchun adaptive usul foydali bo‘lishi mumkin.

Deskew

Skan qiya tushgan bo‘lsa matn satrlari tekislanadi.

System satr yo‘nalishini topib tasvirni aylantiradi.

Kichik burchak ham line segmentation va character recognition sifatini pasaytirishi mumkin.

Dewarping

Kitob sahifasi yoki bukilgan qog‘ozda satrlar egri bo‘ladi.

Dewarping sahifa yuzasini geometrik tekis holatga keltiradi.

Mobil document scannerlar burchak va perspective correctiondan foydalanadi.

Layout analysis

Sahifa qaysi qismlardan tashkil topgani aniqlanadi:

• sarlavha;
• paragraph;
• ustun;
• jadval;
• rasm;
• footnote;
• page number;
• header;
• footer.

Faqat matnni olish yetarli bo‘lmasa reading order ham tiklanadi.

Text detection

OCR avval matn qayerda joylashganini topishi mumkin.

Text detector bounding box yoki polygon beradi.

Bu ko‘cha belgisi, receipt va natural scene textda muhim.

Bir rasmda matn turli burchak va o‘lchamda bo‘lishi mumkin.

Line va word segmentation

Klassik OCR tasvirni:

• blok;
• satr;
• so‘z;
• character

darajalariga bo‘ladi.

Connected component va projection usullari ishlatilishi mumkin.

Zamonaviy end-to-end model butun satrni segmentatsiyasiz tanishi ehtimoli bor.

Character recognition

Har character image feature asosida classga ajratiladi.

Klassik usullar handcrafted feature va classifier ishlatgan.

Zamonaviy OCR:

• CNN;
• RNN;
• Transformer;
• attention;
• sequence-to-sequence

modelidan foydalanishi mumkin.

CTC

Connectionist Temporal Classification satr image’idan character ketma-ketligini olishda ishlatiladigan loss va decoding usullaridan biri.

U har characterning aniq segment chegarasini talab qilmaydi.

Blank symbol va takroriy outputlarni collapse qilish qoidasi mavjud.

Language model

OCR model ko‘rish signalidan bir nechta ehtimoliy so‘z topishi mumkin.

Language model grammatik va lug‘aviy ehtimol orqali to‘g‘ri variantni tanlashga yordam beradi.

Masalan, 0 va O, 1 va l adashishi context bilan tuzatilishi mumkin.

Til

Har til:

• alphabet;
• diacritic;
• ligature;
• punctuation;
• word structure

bo‘yicha farq qiladi.

O‘zbek lotin yozuvida o‘, g‘, apostrofning bir nechta Unicode ko‘rinishi OCR va normalizationga ta’sir qiladi.

Kirill matn uchun alohida model yoki multilingual model talab qilinadi.

Jadval OCR

Jadvalda faqat matn emas, row va column relationship ham saqlanishi kerak.

Pipeline:

1. table region;
2. line yoki cell detection;
3. cell OCR;
4. merged cell;
5. reading order;
6. structured export.

Natija CSV, Excel yoki JSONga aylantirilishi mumkin.

Qo‘lda yozilgan matn

Handwritten Text Recognition bosma OCRdan murakkabroq.

Har inson yozuvi, bog‘langan harflar va tez yozish farq qiladi.

Model katta va representativ handwriting datasetda o‘qitiladi.

Formadagi alohida kataklar recognitionni yengillashtiradi.

Confidence

OCR har token yoki character uchun confidence score berishi mumkin.

Past confidence hudud human reviewga yuboriladi.

Biroq yuqori confidence doim to‘g‘rilikni kafolatlamaydi.

Critical hujjatda rule va checksum bilan qo‘shimcha validation qilinadi.

Post-processing

Tanishdan keyin:

• spelling correction;
• dictionary;
• regex;
• field validation;
• date normalization;
• whitespace;
• reading order;
• duplicate cleanup

bajariladi.

Post-processing asl matnni noto‘g‘ri “tuzatib” yubormasligi kerak.

Evaluation

OCR sifati:

• Character Error Rate;
• Word Error Rate;
• field accuracy;
• layout accuracy;
• table structure metric;
• human review rate

bilan o‘lchanadi.

Oddiy sahifa va murakkab real hujjat alohida test qilinadi.

Maxfiylik

OCR qilinadigan hujjatda personal yoki maxfiy ma’lumot bo‘lishi mumkin.

Cloud service ishlatilsa:

• upload;
• retention;
• model training;
• region;
• encryption;
• access log

siyosati tekshiriladi.

On-premise OCR sensitive dataset uchun tanlanishi mumkin.

Searchable PDF

OCR natijasi original sahifa tasviri ustiga ko‘rinmas text layer sifatida joylashtirilishi mumkin. Foydalanuvchi hujjat ko‘rinishini saqlagan holda qidirish, nusxa olish va accessibility vositalaridan foydalanadi. Text coordinate’lari sahifadagi so‘z joylashuvi bilan mos bo‘lishi kerak. Noto‘g‘ri layer tanlangan matn va highlightni siljitadi.

Field extraction

Document AI tizimi OCR matnidan keyin ma’lum fieldlarni topadi:

• invoice raqami;
• sana;
• summa;
• ism;
• manzil;
• jadval qiymati.

Field faqat regex bilan emas, label, position va document turiga qarab aniqlanishi mumkin.

Human review

Past confidence yoki business rule’ga mos kelmagan record operatorga yuboriladi. Operator tuzatishi keyingi model va lug‘atni yaxshilash uchun feedback bo‘lishi mumkin.

Bog‘liq tushunchalar

Optical Character Recognition, Image preprocessing, Text detection, Layout analysis, Character Error Rate, CTC, Computer vision, Document AI, Handwriting recognition, PDF