End-to-End Evaluation for Low-Latency Simultaneous Speech Translation

要約

低遅延音声翻訳の課題は、いくつかの出版物や共有タスクによって示されているように、最近研究コミュニティで大きな関心を集めています。
したがって、現実的なシナリオでこれらのさまざまなアプローチを評価することが重要です。
ただし、現在はシステムの特定の側面のみが評価されており、多くの場合、異なるアプローチを比較することができません。
この研究では、現実的な条件下で低遅延音声翻訳のさまざまな側面を実行および評価するための最初のフレームワークを提案します。
評価はエンドツーエンド方式で実行されます。
これには、オーディオのセグメント化とさまざまなコンポーネントの実行時間が含まれます。
次に、このフレームワークを使用して、低遅延の音声翻訳に対するさまざまなアプローチを比較します。
出力を修正するオプションを備えたモデルと、固定出力を備えたメソッドを評価します。
さらに、最先端のカスケード システムとエンドツーエンド システムを直接比較します。
最後に、このフレームワークにより、翻訳品質と遅延を自動的に評価できるようになり、低遅延モデルの出力をユーザーに表示する Web インターフェイスも提供されます。

要約(オリジナル)

The challenge of low-latency speech translation has recently draw significant interest in the research community as shown by several publications and shared tasks. Therefore, it is essential to evaluate these different approaches in realistic scenarios. However, currently only specific aspects of the systems are evaluated and often it is not possible to compare different approaches. In this work, we propose the first framework to perform and evaluate the various aspects of low-latency speech translation under realistic conditions. The evaluation is carried out in an end-to-end fashion. This includes the segmentation of the audio as well as the run-time of the different components. Secondly, we compare different approaches to low-latency speech translation using this framework. We evaluate models with the option to revise the output as well as methods with fixed output. Furthermore, we directly compare state-of-the-art cascaded as well as end-to-end systems. Finally, the framework allows to automatically evaluate the translation quality as well as latency and also provides a web interface to show the low-latency model outputs to the user.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google