MQM-Chat: Multidimensional Quality Metrics for Chat Translation

要約

チャットの複雑さは、機械翻訳モデルにとって大きな課題となります。
チャット翻訳の問題に対処するには正確な評価指標の必要性を認識し、この研究ではチャット翻訳の多次元品質指標 (MQM-Chat) を導入しました。
MQM-Chat を使用した 5 つのモデルの実験を通じて、すべてのモデルが特定の基本的なエラーを生成する一方で、それぞれのモデルには、省略、曖昧なソース コンテンツの過度の修正、バズワードの問題など、さまざまな欠点があり、その結果定型化された情報が失われることが観察されました。
。
私たちの調査結果は、チャット翻訳の評価における MQM-Chat の有効性を強調し、今後の研究において様式化されたコンテンツと対話の一貫性の重要性を強調しています。

要約(オリジナル)

The complexities of chats pose significant challenges for machine translation models. Recognizing the need for a precise evaluation metric to address the issues of chat translation, this study introduces Multidimensional Quality Metrics for Chat Translation (MQM-Chat). Through the experiments of five models using MQM-Chat, we observed that all models generated certain fundamental errors, while each of them has different shortcomings, such as omission, overly correcting ambiguous source content, and buzzword issues, resulting in the loss of stylized information. Our findings underscore the effectiveness of MQM-Chat in evaluating chat translation, emphasizing the importance of stylized content and dialogue consistency for future studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google