QAmeleon: Multilingual QA with Only 5 Examples

要約

大規模で高品質のデータセットが利用可能になったことは、質問応答 (QA) における最近の進歩の主な推進力の 1 つです。
しかし、このような注釈付きデータセットは収集が難しくコストがかかり、英語以外の言語ではほとんど存在しないため、過小評価されている言語では QA テクノロジーを利用できなくなります。
大規模な単一言語トレーニング データセットを構築する代わりに、数回の学習設定で事前トレーニングされた言語モデル (PLM) を活用することもできます。
私たちのアプローチである QAmeleon は、PLM を使用して QA モデルのトレーニングに使用される多言語データを自動的に生成するため、コストのかかるアノテーションを回避できます。
言語ごとにわずか 5 つの例を使用してデータ合成用に PLM を迅速に調整することで、翻訳ベースのベースラインよりも優れた精度を実現し、英語のみのベースラインと、約 50,000 個の手作業でラベル付けされた例でトレーニングされた完全に監視された上限との間のギャップのほぼ 60% を埋めます。
低リソース設定でラベル付きサンプルに直接 QA モデルを微調整する場合と比較して、常に大幅な改善につながります。
TyDiQA-GoldP および MLQA ベンチマークの実験では、データ合成の少数ショット プロンプト チューニングが言語間で拡張可能であり、大規模なアノテーションの実行可能な代替手段であることが示されています。

要約(オリジナル)

The availability of large, high-quality datasets has been one of the main drivers of recent progress in question answering (QA). Such annotated datasets however are difficult and costly to collect, and rarely exist in languages other than English, rendering QA technology inaccessible to underrepresented languages. An alternative to building large monolingual training datasets is to leverage pre-trained language models (PLMs) under a few-shot learning setting. Our approach, QAmeleon, uses a PLM to automatically generate multilingual data upon which QA models are trained, thus avoiding costly annotation. Prompt tuning the PLM for data synthesis with only five examples per language delivers accuracy superior to translation-based baselines, bridges nearly 60% of the gap between an English-only baseline and a fully supervised upper bound trained on almost 50,000 hand labeled examples, and always leads to substantial improvements compared to fine-tuning a QA model directly on labeled examples in low resource settings. Experiments on the TyDiQA-GoldP and MLQA benchmarks show that few-shot prompt tuning for data synthesis scales across languages and is a viable alternative to large-scale annotation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google