Simple and Scalable Nearest Neighbor Machine Translation

要約

$k$NN-MT は、ドメイン固有のトークン レベルの $k$-nearest-neighbor ($k$NN) を使用して事前トレーニング済みのニューラル機械翻訳 (NMT) モデルを直接プラグインする、迅速なドメイン適応のための簡単でありながら強力なアプローチです。
再トレーニングなしでドメイン適応を達成するための検索。
概念的に魅力的であるにもかかわらず、$k$NN-MT は、参照コーパス全体で最近傍検索を実行するため、大規模なストレージ要件と高度な計算の複雑さを抱えています。
このホワイト ペーパーでは、翻訳パフォーマンスを維持しながら、$k$NN ベースのモデルのデコードとストレージの効率を大幅に向上させる、シンプルでスケーラブルな最近傍機械翻訳フレームワークを提案します。
この目的のために、文レベルの検索を介して入力ごとに非常に小さなデータストアを動的に構築し、バニラ $k$NN-MT でデータストア全体を検索することを回避します。これに基づいて、距離認識アダプターをさらに導入して、$
k$NN の検索結果は、事前トレーニング済みの NMT モデルに変換されます。
静的ドメイン適応とオンライン学習という 2 つの一般的な設定での機械翻訳の実験では、提案されたアプローチがパフォーマンスを低下させることなく NMT モデルとしてほぼ 90% の速度を達成するだけでなく、$k$NN-MT のストレージ要件を大幅に削減することも実証されています。
.

要約(オリジナル)

$k$NN-MT is a straightforward yet powerful approach for fast domain adaptation, which directly plugs pre-trained neural machine translation (NMT) models with domain-specific token-level $k$-nearest-neighbor ($k$NN) retrieval to achieve domain adaptation without retraining. Despite being conceptually attractive, $k$NN-MT is burdened with massive storage requirements and high computational complexity since it conducts nearest neighbor searches over the entire reference corpus. In this paper, we propose a simple and scalable nearest neighbor machine translation framework to drastically promote the decoding and storage efficiency of $k$NN-based models while maintaining the translation performance. To this end, we dynamically construct an extremely small datastore for each input via sentence-level retrieval to avoid searching the entire datastore in vanilla $k$NN-MT, based on which we further introduce a distance-aware adapter to adaptively incorporate the $k$NN retrieval results into the pre-trained NMT models. Experiments on machine translation in two general settings, static domain adaptation and online learning, demonstrate that our proposed approach not only achieves almost 90% speed as the NMT model without performance degradation, but also significantly reduces the storage requirements of $k$NN-MT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google