SEER: A Knapsack approach to Exemplar Selection for In-Context HybridQA

要約

ハイブリッド コンテキストでの質問応答は複雑なタスクであり、非構造化テキストと構造化テーブルからさまざまな方法で抽出した情報を組み合わせる必要があります。
最近、インコンテキスト学習により、推論タスクのパフォーマンスが大幅に向上することが実証されました。
このパラダイムでは、大規模な言語モデルが、サポートするサンプルの少数のセットに基づいて予測を実行します。
In-Context Learning のパフォーマンスは、サポートするサンプルの選択手順に大きく依存します。特に HybridQA の場合、推論チェーンの多様性とハイブリッド コンテキストのサイズを考慮することが重要になります。
この研究では、代表的かつ多様なサンプルのセットを選択するための新しい方法である、ハイブリッド推論のためのサンプルの選択 (SEER) を紹介します。
SEER の重要な新しさは、サンプルの選択をナップザック整数線形計画として定式化することです。
ナップサック フレームワークは、望ましい属性を持つサンプルを優先する多様性制約と、プロンプトのサイズが提供された容量予算を確実に尊重する容量制約を組み込む柔軟性を提供します。
SEER の有効性は、HybridQA の 2 つの現実世界のベンチマークである FinQA と TAT-QA で実証されており、以前のサンプル選択方法よりも優れています。

要約(オリジナル)

Question answering over hybrid contexts is a complex task, which requires the combination of information extracted from unstructured texts and structured tables in various ways. Recently, In-Context Learning demonstrated significant performance advances for reasoning tasks. In this paradigm, a large language model performs predictions based on a small set of supporting exemplars. The performance of In-Context Learning depends heavily on the selection procedure of the supporting exemplars, particularly in the case of HybridQA, where considering the diversity of reasoning chains and the large size of the hybrid contexts becomes crucial. In this work, we present Selection of ExEmplars for hybrid Reasoning (SEER), a novel method for selecting a set of exemplars that is both representative and diverse. The key novelty of SEER is that it formulates exemplar selection as a Knapsack Integer Linear Program. The Knapsack framework provides the flexibility to incorporate diversity constraints that prioritize exemplars with desirable attributes, and capacity constraints that ensure that the prompt size respects the provided capacity budgets. The effectiveness of SEER is demonstrated on FinQA and TAT-QA, two real-world benchmarks for HybridQA, where it outperforms previous exemplar selection methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google