The Multi-Range Theory of Translation Quality Measurement: MQM scoring models and Statistical Quality Control

要約

2024 年は、分析的な翻訳品質評価のための多次元品質メトリクス (MQM) フレームワークの 10 周年を迎えます。
MQM エラーの類型論は、翻訳およびローカリゼーション業界の専門家によって広く使用されており、多くの派生プロジェクトの基礎として機能してきました。
機械翻訳に関する年次会議 (WMT) では、MQM エラー類型論を使用した人間による翻訳と自動翻訳の両方の品質評価に関するタスクが共有されました。
この指標は、エラーの類型論とスコアリング モデルという 2 つの柱に基づいています。
スコアリング モデルは、アノテーション データから品質スコアを計算し、コンテンツが仕様を満たしているかどうかを判断するために、エラーの種類と重大度の数を数値スコアに変換する方法を詳しく説明します。
以前は、生のスコアリング モデルのみが公開されていました。
今年 4 月、MQM 評議会は、これまで公表されていなかった非線形スコアリング モデルとともに、ここで正式に提示された線形校正スコアリング モデルを公表しました。
この文書では、最新の MQM 開発について詳しく説明し、3 つのサンプル サイズ範囲にわたる翻訳品質測定への普遍的なアプローチを示します。
また、単一の文から開始する非常に小さなサンプル サイズに対して統計的品質管理を使用する必要がある理由も説明します。

要約(オリジナル)

The year 2024 marks the 10th anniversary of the Multidimensional Quality Metrics (MQM) framework for analytic translation quality evaluation. The MQM error typology has been widely used by practitioners in the translation and localization industry and has served as the basis for many derivative projects. The annual Conference on Machine Translation (WMT) shared tasks on both human and automatic translation quality evaluations used the MQM error typology. The metric stands on two pillars: error typology and the scoring model. The scoring model calculates the quality score from annotation data, detailing how to convert error type and severity counts into numeric scores to determine if the content meets specifications. Previously, only the raw scoring model had been published. This April, the MQM Council published the Linear Calibrated Scoring Model, officially presented herein, along with the Non-Linear Scoring Model, which had not been published before. This paper details the latest MQM developments and presents a universal approach to translation quality measurement across three sample size ranges. It also explains why Statistical Quality Control should be used for very small sample sizes, starting from a single sentence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google