An Automatic Quality Metric for Evaluating Simultaneous Interpretation

要約

同時通訳 (SI) は、ある言語を別の言語にリアルタイムで翻訳するもので、元のスピーチが終了する前に翻訳を開始します。
その評価では、遅延と品質の両方を考慮する必要があります。
このトレードオフは、英語と日本語など、語順が遠い言語のペアでは特に困難です。
この語順のギャップに対処するために、通訳者は原言語の語順をできる限り維持して原言語に追いつくことで、品質を維持しながら遅延を最小限に抑えますが、翻訳では、順序を変更することでターゲット言語の流暢さを維持します。
これは、実際の SI の状況に基づいてソース言語と同期した出力が望ましいことを意味し、これが計算 SI と同時機械翻訳 (SiMT) のさらなる進歩の鍵となります。
この研究では、語順同期に焦点を当てたSIとSiMTの自動評価指標を提案します。
私たちの評価指標は、言語間の事前トレーニング済み言語モデルを活用したランク相関係数に基づいています。
NAIST-SIC-Aligned と JNPC に関する実験結果は、ソース言語とターゲット言語間の語順の同期を測定するためのメトリクスの有効性を示しました。

要約(オリジナル)

Simultaneous interpretation (SI), the translation of one language to another in real time, starts translation before the original speech has finished. Its evaluation needs to consider both latency and quality. This trade-off is challenging especially for distant word order language pairs such as English and Japanese. To handle this word order gap, interpreters maintain the word order of the source language as much as possible to keep up with original language to minimize its latency while maintaining its quality, whereas in translation reordering happens to keep fluency in the target language. This means outputs synchronized with the source language are desirable based on the real SI situation, and it’s a key for further progress in computational SI and simultaneous machine translation (SiMT). In this work, we propose an automatic evaluation metric for SI and SiMT focusing on word order synchronization. Our evaluation metric is based on rank correlation coefficients, leveraging cross-lingual pre-trained language models. Our experimental results on NAIST-SIC-Aligned and JNPC showed our metrics’ effectiveness to measure word order synchronization between source and target language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google