DAIL: Data Augmentation for In-Context Learning via Self-Paraphrase

要約

In-Context Learning (ICL) と事前トレーニングされた大規模言語モデルを組み合わせることで、さまざまな NLP タスクで有望な結果が得られます。
ただし、ICL には高品質の注釈付きデモンストレーションが必要ですが、実際のシナリオでは利用できない可能性があります。
この制限を克服するために、\textbf{I}n-Context \textbf{L} 獲得 (\textbf{DAIL}) のための \textbf{D}ata \textbf{A} の拡張を提案します。
DAIL は、大規模な言語モデルはそれ自体が生成したコンテンツにより精通しているという直観を利用します。
まず、言語モデルを利用してテストサンプルの言い換えを生成し、多数決を採用して個々の予測に基づいて最終結果を決定します。
私たちの広範な経験的評価により、DAIL は低リソースのシナリオにおいて標準的な ICL 手法やその他のアンサンブルベースの手法よりも優れたパフォーマンスを発揮することが示されています。
さらに、予測のロジットにアクセスできない場合に、モデルの信頼スコアとして投票の一貫性を使用する方法を検討します。
私たちは、私たちの取り組みが、資源が少ない状況での ICL に関するさらなる研究を促進すると信じています。

要約(オリジナル)

In-Context Learning (ICL) combined with pre-trained large language models has achieved promising results on various NLP tasks. However, ICL requires high-quality annotated demonstrations which might not be available in real-world scenarios. To overcome this limitation, we propose \textbf{D}ata \textbf{A}ugmentation for \textbf{I}n-Context \textbf{L}earning (\textbf{DAIL}). DAIL leverages the intuition that large language models are more familiar with the content generated by themselves. It first utilizes the language model to generate paraphrases of the test sample and employs majority voting to determine the final result based on individual predictions. Our extensive empirical evaluation shows that DAIL outperforms the standard ICL method and other ensemble-based methods in the low-resource scenario. Additionally, we explore the use of voting consistency as a confidence score of the model when the logits of predictions are inaccessible. We believe our work will stimulate further research on ICL in low-resource settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google