Accelerating Transformer Inference for Translation via Parallel Decoding

要約

自己回帰デコードにより、機械翻訳 (MT) のトランスフォーマーの効率が制限されます。
コミュニティは、この問題を解決するための特定のネットワーク アーキテクチャと学習ベースの方法を提案しましたが、これらは費用がかかり、MT モデルの変更が必要となり、推論速度と引き換えに翻訳品質が犠牲になります。
この論文では、あまり調査されていないが、かなり説得力のある方向として、復号化アルゴリズムの観点から問題に対処することを提案します。
高速推論のためにヤコビおよびガウス・ザイデルの固定小数点反復法を活用した並列定式化を使用して、MT の標準的な貪欲な自己回帰デコードを再フレーム化することを提案します。
この定式化により、トレーニングや変更を行わずに、翻訳品質を維持しながら既存のモデルを高速化できます。
3 つの並列デコード アルゴリズムを紹介し、それらをさまざまな言語とモデルでテストし、並列化によって重量比で最大 38% の高速化がどのようにもたらされるかを示します。
標準の自己回帰デコードと、並列リソースでメソッドをスケーリングする場合はほぼ 2 倍になります。
最後に、デコード依存関係グラフ ビジュアライザー (DDGviz) を導入します。これにより、モデルがトークン間の条件依存性をどのように学習したかを確認し、デコード手順を検査できます。

要約(オリジナル)

Autoregressive decoding limits the efficiency of transformers for Machine Translation (MT). The community proposed specific network architectures and learning-based methods to solve this issue, which are expensive and require changes to the MT model, trading inference speed at the cost of the translation quality. In this paper, we propose to address the problem from the point of view of decoding algorithms, as a less explored but rather compelling direction. We propose to reframe the standard greedy autoregressive decoding of MT with a parallel formulation leveraging Jacobi and Gauss-Seidel fixed-point iteration methods for fast inference. This formulation allows to speed up existing models without training or modifications while retaining translation quality. We present three parallel decoding algorithms and test them on different languages and models showing how the parallelization introduces a speedup up to 38% w.r.t. the standard autoregressive decoding and nearly 2x when scaling the method on parallel resources. Finally, we introduce a decoding dependency graph visualizer (DDGviz) that let us see how the model has learned the conditional dependence between tokens and inspect the decoding procedure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google