What Do Compressed Multilingual Machine Translation Models Forget?

要約

最近、非常に大規模な事前トレーニング済みモデルがさまざまな自然言語処理 (NLP) タスクで最先端の結果を達成していますが、そのサイズが大きいため、リソースに制約のある環境に適用するのがより困難になります。
圧縮技術を使用すると、モデルのサイズを大幅に削減できるため、最上位のメトリクスへの影響を無視してモデルの推論時間を短縮できます。
ただし、複数のタスクや言語にわたって平均化された一般的なパフォーマンスには、過小評価されている機能の劇的なパフォーマンスの低下が隠れている可能性があり、その結果、モデルによってエンコードされたバイアスが増幅される可能性があります。
この研究では、さまざまな機械翻訳ベンチマーク (FLORES-101、MT-Gender) で圧縮モデルを広範に分析することにより、さまざまな言語グループ、性別、意味論的バイアスに対する多言語ニューラル機械翻訳モデル (MNMT) に対する圧縮方法の影響を評価します。
、DiBiMT。
過小評価されている言語のパフォーマンスは大幅に低下しますが、平均 BLEU メトリクスはわずかしか低下しないことがわかります。
興味深いことに、圧縮によるノイズの多い記憶の除去は、一部の中程度のリソース言語では大幅な改善につながります。
最後に、高リソース言語であっても、圧縮によって本質的な性別と意味論的なバイアスが増幅されることを示します。
コード: https://github.com/alirezamshi/bias-compressedMT

要約(オリジナル)

Recently, very large pre-trained models achieve state-of-the-art results in various natural language processing (NLP) tasks, but their size makes it more challenging to apply them in resource-constrained environments. Compression techniques allow to drastically reduce the size of the models and therefore their inference time with negligible impact on top-tier metrics. However, the general performance averaged across multiple tasks and/or languages may hide a drastic performance drop on under-represented features, which could result in the amplification of biases encoded by the models. In this work, we assess the impact of compression methods on Multilingual Neural Machine Translation models (MNMT) for various language groups, gender, and semantic biases by extensive analysis of compressed models on different machine translation benchmarks, i.e. FLORES-101, MT-Gender, and DiBiMT. We show that the performance of under-represented languages drops significantly, while the average BLEU metric only slightly decreases. Interestingly, the removal of noisy memorization with compression leads to a significant improvement for some medium-resource languages. Finally, we demonstrate that compression amplifies intrinsic gender and semantic biases, even in high-resource languages. Code: https://github.com/alirezamshi/bias-compressedMT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google