Resources and Few-shot Learners for In-context Learning in Slavic Languages

要約

【タイトル】スラブ諸国語におけるインコンテキスト学習のためのリソースとフューショット学習者

【要約】本論文では、精度の高くコンパクトなインコンテキスト学習者の作成に関する最近の進歩は、英語のタスクに焦点を当てたものが多いことについて述べられています。しかし、英語以外の言語の使用者とのやりとりが可能になれば、言語技術の応用範囲は非英語話者に拡大する可能性があります。本研究では、スラブ言語の一部であるチェコ語、ポーランド語、ロシア語におけるICLの訓練と評価に必要なインフラストラクチャを収集します。多様なデータセットをリンクし、一貫した教育形式に変換するための一連の変換と、ターゲット言語のテンプレートの新規作成を通じて、それらを統合的なものにします。新たにキュレートされたデータセットを使用して、最新のインコンテキスト学習者を評価し、その結果を監視付きのベースラインと比較します。最後に、収集したリソースでトレーニングしたインコンテキスト学習モデルをトレーニング、評価、公開し、以前の作品とのパフォーマンスを比較します。ICLモデルは、英語で調整されたものでも、非英語の文脈から学習することができますが、多言語の教育でファインチューニングすることで、ICL能力が一定に向上することが分かります。また、大規模なマルチタスクトレーニングよりも、ターゲット言語でのシングルタスクトレーニングの方が優れていることも分かりました。これは、ICL学習者を、彼らのアプリケーションの言語に特化させる可能性を示しています。

要約(オリジナル)

Despite the rapid recent progress in creating accurate and compact in-context learners, most recent work focuses on in-context learning (ICL) for tasks in English. However, the ability to interact with users of languages outside English presents a great potential for broadening the applicability of language technologies to non-English speakers. In this work, we collect the infrastructure necessary for training and evaluation of ICL in a selection of Slavic languages: Czech, Polish, and Russian. We link a diverse set of datasets and cast these into a unified instructional format through a set of transformations and newly-crafted templates written purely in target languages. Using the newly-curated dataset, we evaluate a set of the most recent in-context learners and compare their results to the supervised baselines. Finally, we train, evaluate and publish a set of in-context learning models that we train on the collected resources and compare their performance to previous work. We find that ICL models tuned in English are also able to learn some tasks from non-English contexts, but multilingual instruction fine-tuning consistently improves the ICL ability. We also find that the massive multitask training can be outperformed by single-task training in the target language, uncovering the potential for specializing in-context learners to the language(s) of their application.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI