Contrastive Feedback Mechanism for Simultaneous Speech Translation

要約

同時音声翻訳 (SST) の最近の進歩は、オフラインでトレーニングされた ST モデルを同時推論に使用できるようにする意思決定ポリシーに焦点を当てています。
これらの意思決定ポリシーは、SST における品質と遅延のトレードオフを制御するだけでなく、より多くのコンテキストのために翻訳を遅らせたり、安定した仮説検出を通じてこれらの予測を破棄したりすることで、翻訳品質に対する不安定な予測の影響を軽減します。
ただし、これらのポリシーでは、不安定な予測を利用することの潜在的な利点が見落とされていることがよくあります。
我々は、これらの不安定な予測をフィードバックとして活用して翻訳品質を向上させる新しい方法である、SST 用のコントラスト フィードバック メカニズム (CFM) を紹介します。
CFM は、対照的な目的を通じて、システムがこれらの予測から望ましくないモデルの動作を排除するようにガイドします。
MuST-C v1.0 データセット内の 8 つの言語にわたる 3 つの最先端の意思決定ポリシーに関する実験では、CFM が SST のパフォーマンスを効果的に向上させることが示されています。

要約(オリジナル)

Recent advances in simultaneous speech translation (SST) focus on the decision policies that enable the use of offline-trained ST models for simultaneous inference. These decision policies not only control the quality-latency trade-off in SST but also mitigate the impact of unstable predictions on translation quality by delaying translation for more context or discarding these predictions through stable hypothesis detection. However, these policies often overlook the potential benefits of utilizing unstable predictions. We introduce the contrastive feedback mechanism (CFM) for SST, a novel method that leverages these unstable predictions as feedback to improve translation quality. CFM guides the system to eliminate undesired model behaviors from these predictions through a contrastive objective. The experiments on 3 state-of-the-art decision policies across 8 languages in the MuST-C v1.0 dataset show that CFM effectively improves the performance of SST.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google