Towards Faster k-Nearest-Neighbor Machine Translation

要約

最近の研究では、クロスドメイン翻訳において顕著な改善をもたらす k 近傍機械翻訳 (別名 kNN-MT) アプローチの有効性が証明されています。
ただし、これらのモデルでは、各トークンをデコードするときにデータストア全体で大量の取得オーバーヘッドが発生します。
デコード段階では、コーパス データストアの検索後、トークンの約 67% ～ 84% が変化していないことがわかりました。これは、ほとんどのトークンが無駄な検索を引き起こし、k 近傍検索を開始することによって不必要な計算コストを導入していることを意味します。
私たちは、この現象は言語学で説明可能であると考え、トークンがニューラル機械翻訳モデルと kNN によって生成される確率によって結合して翻訳されるべきか、それともニューラル モデルのみによって翻訳されるべきかを予測するための、シンプルかつ効果的な多層パーセプトロン (MLP) ネットワークを提案します。
結果は、私たちの方法が冗長な検索操作を削減することに成功し、翻訳品質がわずかに低下するものの、kNN 検索のオーバーヘッドを最大 53% まで大幅に削減できることを示しています。
さらに、私たちの方法は、既存のすべての kNN-MT システムと連携して動作できます。

要約(オリジナル)

Recent works have proven the effectiveness of k-nearest-neighbor machine translation(a.k.a kNN-MT) approaches to produce remarkable improvement in cross-domain translations. However, these models suffer from heavy retrieve overhead on the entire datastore when decoding each token. We observe that during the decoding phase, about 67% to 84% of tokens are unvaried after searching over the corpus datastore, which means most of the tokens cause futile retrievals and introduce unnecessary computational costs by initiating k-nearest-neighbor searches. We consider this phenomenon is explainable in linguistics and propose a simple yet effective multi-layer perceptron (MLP) network to predict whether a token should be translated jointly by the neural machine translation model and probabilities produced by the kNN or just by the neural model. The results show that our method succeeds in reducing redundant retrieval operations and significantly reduces the overhead of kNN retrievals by up to 53% at the expense of a slight decline in translation quality. Moreover, our method could work together with all existing kNN-MT systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google