Бенчмарк распознавания узбекской речи
Мы измеряем долю ошибочных слов (WER) на 311 записях спонтанной узбекской речи из подкастов, интервью и разговоров нескольких собеседников; эталонные расшифровки проверены вручную. У uzasr-large ошибочны 8,1% слов, у GigaAM-large без дообучения — 14,4%, у whisper-large-v3-turbo-uzbek — 38,6%. Тестовый набор, скрипт подсчёта и расшифровки каждой модели открыты на Hugging Face.
Обновлено 28 окт. 2026 г.
Результаты
Все модели запущены на одном и том же аудио и посчитаны одним скриптом.
| Модель | Параметры | WER | CER |
|---|---|---|---|
| uzasr-largeClarion | 600M | 8,1% | 2,5% |
| uzasr-baseClarion | 220M | 9,4% | 3,0% |
| GigaAM-large, без дообучения | 600M | 14,4% | 5,3% |
| whisper-large-v3-turbo-uzbek | 809M | 38,6% | 18,5% |
WER — доля ошибочных слов. Ниже лучше, пунктуация не учитывается.
Что в тестовом наборе
Живой разговор, а не чтение вслух.
- Записей
- 311
- Часов аудио
- ≈2
- Спорных мест прослушано
- 374
- Записей исправлено после прослушивания
- 144
Спонтанная узбекская речь с YouTube: подкасты, интервью и разговоры нескольких собеседников. Люди перебивают друг друга, запинаются, переходят на русский и говорят на диалектах.
Исходные расшифровки сделаны машиной. Каждую мы сравнили с результатом второй модели, GigaAM-large, и все записи, где они сильно расходились, человек проверил слово за словом. Выборочная проверка остальных записей ошибок не нашла.
Позже носитель языка прослушал аудио везде, где наша новейшая модель расходилась с эталоном, и решил, кто прав. LLM только расставила спорные места по приоритету. Каждое изменение эталона — решение человека.
Методика
Как считаются WER и CER и в чём методика смещена.
WER — число заменённых, пропущенных и вставленных слов, делённое на число слов в эталоне. CER — то же самое по символам. Обе метрики считаются по всему набору сразу, а не усредняются по записям.
Перед подсчётом оба текста приводятся к нижнему регистру, апострофы — к одному виду, пунктуация удаляется, поэтому на результат она не влияет. Кавычки отбрасываются; апостроф остаётся только между двумя буквами.
Клитики вроде mi и da в живом узбекском тексте пишут и слитно, и раздельно. На карточке набора есть и вариант, где они слиты с обеих сторон; на этой странице — обычный WER.
Все релизы наших моделей и все сторонние модели считаются на одних и тех же записях одним скриптом. Расшифровки каждой модели из таблицы по каждой записи опубликованы.
Смещение методики
Эталон мы перепроверяли только там, где с ним расходилась наша новейшая модель, uzasr-large v0.3.0. Поэтому исправления убрали именно те ошибки, которые сильнее всего мешали ей: она выиграла 2,6 пункта WER, другие наши модели — от 1,4 до 2,1, GigaAM-large — 1,7, Whisper — 0,4. Порядок моделей не изменился, но разрыв между нашими моделями выглядит несколько больше, чем есть. Расхождения каждой новой модели проходят такое же прослушивание до того, как мы публикуем её результат.
Точность по релизам
От базовой модели без дообучения до текущей uzasr-large: каждый шаг посчитан на тех же записях с тем же эталоном.
| Версия | Что изменилось | WER |
|---|---|---|
| GigaAM-large | без дообучения | 14,4% |
| v0.1.0 | дообучение | 10,4% |
| v0.2.0 | отозвана | — |
| v0.2.1 | + языковая модель | 9,4% |
| v0.3.0 | доменные данные | 8,1% |
Опубликованные исправления
Когда опубликованная цифра оказывалась неверной, мы об этом писали.
0.2.0 отозвана. Её языковая модель обучалась на тексте, пересекавшемся с 62 из 311 тестовых записей, поэтому опубликованный WER был занижен примерно на 1,3 пункта.
Читать запись →В 0.2.1 языковая модель пересобрана без пересекающегося текста и опубликован честный WER. Акустическую модель утечка не затронула.
Читать запись →
Как проверить
Всё, чтобы проверить наши цифры или оценить свою модель.
В наборе — эталонные расшифровки (текущая и предыдущая версии), все исправления и решения по прослушиванию, расшифровки каждой модели из таблицы по каждой записи и скрипт подсчёта.
Аудио в набор не входит: скрипт восстанавливает его из открытого исходного датасета, откуда взяты записи.
Разметка открыта для исследований и оценки моделей. Аудио принадлежит авторам исходных видео на YouTube и здесь не распространяется; на него действуют условия исходного датасета.