WER, или Word Error Rate, показывает долю ошибок в машинной расшифровке относительно проверенного человеком эталона. В расчёт входят замены слов, пропуски и лишние вставки; чем ниже значение, тем точнее распознавание. Для отдела продаж WER лучше считать на случайной выборке реальных звонков с разной длительностью, качеством связи и манерой речи. Внутренняя оценка уверенности модели не заменяет такую проверку: высокая уверенность может сопровождать неверно распознанное слово.
Термин
WER
Метрика качества распознавания речи: доля заменённых, пропущенных и лишних слов относительно точной эталонной расшифровки.
Похожие термины
Термин
транскрибация
Автоматический перевод записи звонка в текст для последующего анализа.
Термин
диаризация
Автоматическое разделение аудиозаписи на реплики разных говорящих.
Термин
Автоматическое распознавание речи
Технология, которая автоматически преобразует аудиозапись или поток речи в текст. Часто обозначается сокращением ASR.
Термин
Оценка уверенности распознавания
Внутренняя оценка модели, показывающая, насколько вероятным она считает выбранный вариант слова или фразы. Не равна фактической точности.
Термин
длина монолога
Самый длинный непрерывный кусок речи одного собеседника без единой реплики второго. Показывает провал там, где средняя доля речи за весь разговор выглядит нормальной.
Термин
смена говорящего
Переход хода от одного собеседника к другому. Число смен за разговор показывает, был это диалог или два монолога подряд: доля речи такую разницу не ловит.