Fixed and Adaptive Simultaneous Machine Translation Strategies Using Adapters

要約

同時機械翻訳は、入力をすべて消費する前に翻訳を開始することで、リアルタイム翻訳のタスクを解決することを目的としていますが、これにより、翻訳の品質と遅延のバランスという点で課題が生じます。
wait-$k$ ポリシーは、$k$ ワードを消費した後に翻訳を開始することで解決策を提供します。ここで、$k$ という数字の選択は、待ち時間と品質に直接影響します。
推論時にレイテンシーと品質よりも選択を維持しようとするアプリケーションでは、wait-$k$ ポリシーにより、複数のモデルをトレーニングすることが義務付けられます。
このペーパーでは、複数のレイテンシ レベルを満たすことができる 1 つのモデルを構築するという課題に取り組み、デコーダに軽量のアダプタ モジュールを導入することでこれを達成します。
アダプターは、さまざまな wait-$k$ 値に特化するようにトレーニングされており、他の技術と比較して、パラメーターの共有と干渉の最小化の利点を享受できる柔軟性を提供します。
さらに、適応戦略と組み合わせることで、結果をさらに改善できることを示します。
2 つの言語方向での実験では、ほとんどのレイテンシー値に関して、私たちの方法が他の強力なベースラインよりも優れている、または競合していることが示されています。

要約(オリジナル)

Simultaneous machine translation aims at solving the task of real-time translation by starting to translate before consuming the full input, which poses challenges in terms of balancing quality and latency of the translation. The wait-$k$ policy offers a solution by starting to translate after consuming $k$ words, where the choice of the number $k$ directly affects the latency and quality. In applications where we seek to keep the choice over latency and quality at inference, the wait-$k$ policy obliges us to train more than one model. In this paper, we address the challenge of building one model that can fulfil multiple latency levels and we achieve this by introducing lightweight adapter modules into the decoder. The adapters are trained to be specialized for different wait-$k$ values and compared to other techniques they offer more flexibility to allow for reaping the benefits of parameter sharing and minimizing interference. Additionally, we show that by combining with an adaptive strategy, we can further improve the results. Experiments on two language directions show that our method outperforms or competes with other strong baselines on most latency values.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google