Self-ICL: Zero-Shot In-Context Learning with Self-Generated Demonstrations

要約

大規模言語モデル (LLM) は、いくつかの入出力デモンストレーションでターゲット タスクに適応する驚くべきインコンテキスト学習 (ICL) 能力を示しました。
より良い ICL を実現するために、既存のトレーニング コーパスから代表的なデモンストレーションを選択するためのさまざまな方法が提案されています。
ただし、エンドユーザーは通常、デモンストレーション プールにアクセスせずに LM にクエリを実行するため、このような設定は現実の慣行と一致していません。
この研究では、セルフ ICL、つまり LM の固有機能をブートストラップしてゼロショット ICL を実行するシンプルなフレームワークを紹介します。
テスト入力が与えられると、Self-ICL は最初にモデルに疑似入力を生成するよう促します。
次に、モデルはゼロショット プロンプトを介して擬似入力の擬似ラベルを予測します。
最後に、デモンストレーションとして、疑似入力ラベルのペアを使用してテスト入力の ICL を実行します。
23 の BIG-Bench Hard タスクの評価では、Self-ICL が平均精度と直接比較の両方でゼロショット ベースラインを上回っていることが示されています。
さらに、ゼロショットの思考連鎖により、Self-ICL は実際のデモンストレーションを使用した場合と同等の結果を達成します。
さらに、当社は Self-ICL の有効性を検証するためにさまざまな分析を実施し、さまざまな設定下での動作に関する洞察を提供します。

要約(オリジナル)

Large language models (LLMs) have exhibited striking in-context learning (ICL) ability to adapt to target tasks with a few input-output demonstrations. For better ICL, different methods are proposed to select representative demonstrations from existing training corpora. However, such settings are not aligned with real-world practices, as end-users usually query LMs without access to demonstration pools. In this work, we introduce Self-ICL — a simple framework which bootstraps LMs’ intrinsic capabilities to perform zero-shot ICL. Given a test input, Self-ICL first prompts the model to generate pseudo-inputs. Next, the model predicts pseudo-labels for the pseudo-inputs via zero-shot prompting. Finally, we perform ICL for the test input with the pseudo-input-label pairs as demonstrations. Evaluation on 23 BIG-Bench Hard tasks shows Self-ICL outperforms zero-shot baselines on both average accuracy and head-to-head comparison. Moreover, with zero-shot chain-of-thought, Self-ICL achieves results comparable to using real demonstrations. Additionally, we conduct a range of analyses to validate Self-ICL’s effectiveness and provide insights for its behaviors under different settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google