O'zbek nutqini tanish benchmarki
Podkast, intervyu va bir necha kishilik suhbatlardan olingan spontan o'zbek nutqining 311 ta parchasida xato so'zlar ulushini (WER) o'lchaymiz; etalon matnlar qo'lda tekshirilgan. uzasr-large so'zlarning 8,1% qismida xato qiladi, qo'shimcha o'qitilmagan GigaAM-large — 14,4%, whisper-large-v3-turbo-uzbek — 38,6%. Test to'plami, hisoblash skripti va har bir modelning natijalari Hugging Face'da ochiq.
Yangilangan: 28-okt, 2026
Natijalar
Barcha modellar bir xil audioda ishga tushirilgan va bitta skript bilan hisoblangan.
| Model | Parametrlar | WER | CER |
|---|---|---|---|
| uzasr-largeClarion | 600M | 8,1% | 2,5% |
| uzasr-baseClarion | 220M | 9,4% | 3,0% |
| GigaAM-large, qo'shimcha o'qitishsiz | 600M | 14,4% | 5,3% |
| whisper-large-v3-turbo-uzbek | 809M | 38,6% | 18,5% |
WER — xato so'zlar ulushi. Qancha past bo'lsa, shuncha yaxshi, tinish belgilari hisobga olinmaydi.
Test to'plamida nima bor
O'qib berilgan matn emas, jonli suhbat.
- Parchalar
- 311
- Audio, soat
- ≈2
- Quloq bilan tekshirilgan bahsli joylar
- 374
- Tinglangandan keyin tuzatilgan parchalar
- 144
YouTube'dan olingan spontan o'zbek nutqi: podkastlar, intervyular va bir necha kishilik suhbatlar. Odamlar bir-birining gapini bo'ladi, to'xtab-to'xtab gapiradi, ruschaga o'tadi va shevada so'zlaydi.
Dastlabki matnlarni mashina yozgan. Har birini ikkinchi model — GigaAM-large natijasi bilan solishtirdik, ikkalasi keskin farq qilgan har bir parchani esa inson so'zma-so'z tekshirdi. Qolgan parchalardan tasodifiy tanlab tekshirilganda xato topilmadi.
Keyinroq ona tilida so'zlashuvchi inson eng yangi modelimiz etalondan farq qilgan har bir joyda audioni tinglab, qaysi biri to'g'riligini hal qildi. LLM bahsli joylarni faqat navbatga qo'ydi. Etalondagi har bir o'zgarish — inson qarori.
Metodika
WER va CER qanday hisoblanadi va metodika qayerda bir tomonga og'adi.
WER — almashtirilgan, tushib qolgan va ortiqcha qo'shilgan so'zlar soni etalondagi so'zlar soniga bo'lingani. CER — xuddi shu hisob, lekin belgilar bo'yicha. Ikkalasi ham parchalar bo'yicha o'rtacha emas, butun to'plam bo'yicha birdaniga hisoblanadi.
Hisoblashdan oldin ikkala matn kichik harfga o'tkaziladi, apostroflar bir xil ko'rinishga keltiriladi va tinish belgilari olib tashlanadi, shuning uchun ular natijaga ta'sir qilmaydi. Qo'shtirnoqlar tashlab yuboriladi; apostrof faqat ikki harf orasida qoladi.
mi va da kabi yuklamalar jonli o'zbek matnida ham qo'shib, ham ajratib yoziladi. To'plam kartasida ular ikkala tomonda qo'shib yozilgan variant ham bor; bu sahifada oddiy WER ko'rsatilgan.
Modellarimizning barcha relizlari va boshqa barcha modellar bir xil parchalarda, bitta skript bilan hisoblanadi. Jadvaldagi har bir modelning har bir parcha bo'yicha natijalari e'lon qilingan.
Metodikadagi og'ish
Etalonni faqat eng yangi modelimiz — uzasr-large v0.3.0 undan farq qilgan joylarda qayta tekshirdik. Shuning uchun tuzatishlar aynan shu modelga eng ko'p xalaqit bergan xatolarni yo'qotdi: u WER bo'yicha 2,6 punkt yutdi, boshqa modellarimiz 1,4–2,1, GigaAM-large 1,7, Whisper 0,4. Modellar tartibi o'zgarmadi, lekin o'z modellarimiz orasidagi farq aslidagidan biroz kattaroq ko'rinadi. Har bir yangi modelning farqlari ham natijasi e'lon qilinishidan oldin xuddi shunday tinglab tekshiriladi.
Relizlar bo'yicha aniqlik
O'qitilmagan asos modeldan hozirgi uzasr-large gacha: har bir qadam o'sha parchalarda, o'sha etalon bilan hisoblangan.
| Versiya | Nima o'zgardi | WER |
|---|---|---|
| GigaAM-large | o'qitilmagan asos | 14,4% |
| v0.1.0 | fine-tuning | 10,4% |
| v0.2.0 | qaytarib olindi | — |
| v0.2.1 | + til modeli | 9,4% |
| v0.3.0 | soha ma'lumotlari | 8,1% |
E'lon qilingan tuzatishlar
E'lon qilingan raqam noto'g'ri chiqqanda, buni ochiq aytdik.
0.2.0 qaytarib olindi. Uning til modeli 311 ta test parchasidan 62 tasi bilan ustma-ust tushgan matnda o'qitilgan edi, shuning uchun e'lon qilingan WER taxminan 1,3 punkt past chiqqan.
Yozuvni o'qish →0.2.1 da til modeli ustma-ust tushgan matnsiz qayta qurildi va haqqoniy WER e'lon qilindi. Akustik modelga bu ta'sir qilmagan.
Yozuvni o'qish →
Qayta tekshirish
Raqamlarimizni tekshirish yoki o'z modelingizni baholash uchun kerakli hamma narsa.
To'plamda etalon matnlar (joriy va oldingi versiyasi), barcha tuzatishlar va tinglash qarorlari, jadvaldagi har bir modelning har bir parcha bo'yicha natijalari hamda hisoblash skripti bor.
Audio to'plamga kirmaydi: skript uni parchalar olingan ochiq manba datasetdan qayta tiklaydi.
Annotatsiyalar tadqiqot va modellarni baholash uchun ochiq. Audio YouTube'dagi asl mualliflarga tegishli va bu yerda tarqatilmaydi; unga manba datasetning shartlari amal qiladi.