ParaICL: Towards Parallel In-Context Learning

要約

大規模な言語モデル（LLMS）は、自然言語処理（NLP）の標準となっており、驚くべき能力を備えた少ないショットコンテキスト内学習（ICL）で優れています。
それにもかかわらず、ICLの成功は、少数のショットデモンストレーションの例の選択に大きく依存しているため、選択プロセスがますます重要になります。
既存の方法は、これらの例の量とセマンティックな類似性を最適化して、ICLのパフォーマンスを改善するように拡大しています。
ただし、予備的な実験では、ICLの有効性が入力コンテキストの長さによって制限されることを示しています。
さらに、少数のショットデモンストレーションの例のさまざまな組み合わせは、さまざまなテストサンプル間で精度を大幅に高めることができます。
これに対処するために、管理可能な入力コンテキストの長さを超えることなくすべてのデモンストレーションの例を効果的に利用する並列内コンテキスト学習（PARAICL）という名前の新しい方法を提案します。
Paraiclは、デモンストレーションの質問のセマンティックな類似性に従って、並列バッチを使用して、デモンストレーションの例をテストの質問に分配します。
次に、各バッチの正規化されたバッチセマンティックスコアを計算します。
適応的な妥当性によって制約される加重平均セマンティック目標が、最も適切なトークンを選択するために適用されます。
広範な実験を通じて、Paraiclの有効性を検証し、アブレーション研究を実施して、その設計の根拠を強調します。
さらに、Paraiclが既存の方法とシームレスに統合できることを実証します。

要約(オリジナル)

Large language models (LLMs) have become the norm in natural language processing (NLP), excelling in few-shot in-context learning (ICL) with their remarkable abilities. Nonetheless, the success of ICL largely hinges on the choice of few-shot demonstration examples, making the selection process increasingly crucial. Existing methods have delved into optimizing the quantity and semantic similarity of these examples to improve ICL performances. However, our preliminary experiments indicate that the effectiveness of ICL is limited by the length of the input context. Moreover, varying combinations of few-shot demonstration examples can significantly boost accuracy across different test samples. To address this, we propose a novel method named parallel in-context learning (ParaICL) that effectively utilizes all demonstration examples without exceeding the manageable input context length. ParaICL employs parallel batching to distribute demonstration examples into different batches according to the semantic similarities of the questions in the demonstrations to the test question. It then computes normalized batch semantic scores for each batch. A weighted average semantic objective, constrained by adaptive plausibility, is applied to select the most appropriate tokens. Through extensive experiments, we validate the effectiveness of ParaICL and conduct ablation studies to underscore its design rationale. We further demonstrate that ParaICL can seamlessly integrate with existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google