О методах оценки качества машинного перевода

Рассматриваются подходы к определению качества машинного перевода (МП) и несколько методов его оценки. Целью статьи является обзор ряда методов и подходов к экспертной и автоматической оценке качества МП. В первой части описываются методы относительной экспертной оценки (ранжирование переводов) и абсолютной оценки, основанной на штрафах за ошибки в переводе, а также программное обеспечение и алгоритмы, упрощающие экспертную оценку и обрабатывающие экспертные суждения. Наибольшее внимание уделяется типологии ошибок DQF/MQM (Dynamic Quality Framework — Динамическая модель оценки качества, Multidimensional Quality Metrics — Многомерные метрики качества) как наиболее гибкой и не нацеленной на ограниченную предметную область. Вторая часть статьи посвящена обзору метрик автоматической оценки качества МП, не использующих знания об исходном и переводящем языке, а также коэффициентам корреляции экспертной и автоматической оценки.