Letz Translate: Low-Resource Machine Translation for Luxembourgish

要約

低リソース言語 (LRL) の自然言語処理は、多くの場合、データの不足によって課題が生じます。
したがって、リソースの少ない環境で正確な機械翻訳 (MT) を実現することは、現実的な問題であり、実用的なソリューションが必要です。
多言語モデルの調査により、一部の LRL はそのようなモデルで処理できることが示されています。
ただし、サイズが大きく、計算が必要なため、制約のある環境 (モバイル/IoT デバイス、限られた/古いサーバーなど) での使用は実用的ではありません。
このホワイト ペーパーでは、知識の蒸留を使用して大規模な多言語 MT モデルの機能を活用することにより、この問題に対処します。
知識の蒸留により、大規模で複雑な教師モデルから、より単純で小規模な生徒モデルに、パフォーマンスを大幅に低下させることなく知識を移すことができます。
また、ターゲット LRL と関連する、または同じ言語ルートを共有する高リソース言語も使用します。
私たちの評価では、ルクセンブルク語をドイツ語といくつかのルーツと特性を共有する LRL と見なしています。
ドイツ語、多言語 No Language Left Behind (NLLB) モデルからの知識の抽出、および疑似翻訳に基づいて、複数のリソース効率の高いモデルを構築します。
私たちの効率的なモデルは、最新の大規模な NLLB モデルと比較して 30\% 以上高速であり、パフォーマンスが 4\% 低いだけであることがわかりました。

要約(オリジナル)

Natural language processing of Low-Resource Languages (LRL) is often challenged by the lack of data. Therefore, achieving accurate machine translation (MT) in a low-resource environment is a real problem that requires practical solutions. Research in multilingual models have shown that some LRLs can be handled with such models. However, their large size and computational needs make their use in constrained environments (e.g., mobile/IoT devices or limited/old servers) impractical. In this paper, we address this problem by leveraging the power of large multilingual MT models using knowledge distillation. Knowledge distillation can transfer knowledge from a large and complex teacher model to a simpler and smaller student model without losing much in performance. We also make use of high-resource languages that are related or share the same linguistic root as the target LRL. For our evaluation, we consider Luxembourgish as the LRL that shares some roots and properties with German. We build multiple resource-efficient models based on German, knowledge distillation from the multilingual No Language Left Behind (NLLB) model, and pseudo-translation. We find that our efficient models are more than 30\% faster and perform only 4\% lower compared to the large state-of-the-art NLLB model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google