A Benchmark for Learning to Translate a New Language from One Grammar Book

要約

大規模言語モデル (LLM) は、コンテキスト内学習または軽量の微調整によって素晴らしい成果を実行できます。
これらのモデルが真に新しいタスクにどの程度うまく適応するのか疑問に思うのは自然なことですが、インターネット規模のトレーニング セットでは見られないタスクをどうやって見つけるのでしょうか?
私たちは、明示的に動機づけられているものの、Web データの不足によってボトルネックになっている分野、つまり低リソース言語に目を向けます。
この論文では、数百ページのフィールドを使用して、英語とカラマン語（話者が 200 人未満で、したがってウェブ上に事実上存在しない言語）との間の翻訳を学習するためのベンチマークである MTOB (Machine Translation from One Book) を紹介します。
言語学の参考資料。
このタスクの枠組みは、マイニングされたドメイン内データの大規模なコーパスではなく、人間が読める文法説明の 1 冊の本から言語を学習するようモデルに要求するという点で斬新で、L1 学習というよりも L2 学習に似ています。
現在の LLM を使用したベースラインは有望であるものの、人間のパフォーマンスには及ばず、同じ参考資料からカラマン語を学習した人間による 51.6 および 57.0 chrF と比較して、カラマン語から英語への翻訳では 44.7 chrF、英語からカラマンへの翻訳では 45.8 chrF を達成していることを実証します。
。
私たちは、MTOB が新しい次元に沿って LLM の能力を測定するのに役立ち、それを解決するために開発された手法が、従来の機械翻訳とは質的に異なる種類のデータを活用することで、十分なサービスを受けられていないコミュニティの言語技術へのアクセスを拡大するのに役立つことを期待しています。

要約(オリジナル)

Large language models (LLMs) can perform impressive feats with in-context learning or lightweight finetuning. It is natural to wonder how well these models adapt to genuinely new tasks, but how does one find tasks that are unseen in internet-scale training sets? We turn to a field that is explicitly motivated and bottlenecked by a scarcity of web data: low-resource languages. In this paper, we introduce MTOB (Machine Translation from One Book), a benchmark for learning to translate between English and Kalamang — a language with less than 200 speakers and therefore virtually no presence on the web — using several hundred pages of field linguistics reference materials. This task framing is novel in that it asks a model to learn a language from a single human-readable book of grammar explanations, rather than a large mined corpus of in-domain data, more akin to L2 learning than L1 acquisition. We demonstrate that baselines using current LLMs are promising but fall short of human performance, achieving 44.7 chrF on Kalamang to English translation and 45.8 chrF on English to Kalamang translation, compared to 51.6 and 57.0 chrF by a human who learned Kalamang from the same reference materials. We hope that MTOB will help measure LLM capabilities along a new dimension, and that the methods developed to solve it could help expand access to language technology for underserved communities by leveraging qualitatively different kinds of data than traditional machine translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google