Investigating the Translation Performance of a Large Multilingual Language Model: the Case of BLOOM

要約

最近、NLPコミュニティでは、46言語をカバーする新しい大規模なオープンアクセス多言語言語モデルBLOOM (BigScience et al., 2022)がリリースされました。我々は、いくつかのデータセット（WMT、Flores-101、DiaBLa）と言語ペア（高リソースと低リソース）で機械翻訳性能を評価することにより、BLOOMの多言語能力に注目する。その結果、0ショットでは過剰生成や間違った言語での生成が問題となるが、数ショットでは大幅に改善され、多くの言語ペアにおいて非常に良い結果が得られた。我々は、プロンプトのデザイン、モデルの大きさ、言語横断的な転送、言説的な文脈の使用など、いくつかの側面を研究している。

要約(オリジナル)

The NLP community recently saw the release of a new large open-access multilingual language model, BLOOM (BigScience et al., 2022) covering 46 languages. We focus on BLOOM’s multilingual ability by evaluating its machine translation performance across several datasets (WMT, Flores-101 and DiaBLa) and language pairs (high- and low-resourced). Our results show that 0-shot performance suffers from overgeneration and generating in the wrong language, but this is greatly improved in the few-shot setting, with very good results for a number of language pairs. We study several aspects including prompt design, model sizes, cross-lingual transfer and the use of discursive context.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL