DQ-LoRe: Dual Queries with Low Rank Approximation Re-ranking for In-Context Learning

要約

主に大規模言語モデル (LLM) によって促進された自然言語処理の最近の進歩は、コンテキスト内学習に基づいたその驚くべき機能を実証しました。
複雑な推論タスクで LLM を指導するための有望な手段には、思考連鎖 (CoT) パラダイム内の中間推論ステップの利用が含まれます。
それにもかかわらず、中心的な課題は、文脈に沿った学習を促進するための模範を効果的に選択することにあります。
この研究では、デュアル クエリと低ランク近似再ランキング (DQ-LoRe) を活用して、コンテキスト内学習用のサンプルを自動的に選択するフレームワークを紹介します。
デュアル クエリは、まず LLM にクエリを実行して CoT などの LLM 生成のナレッジを取得し、次に取得者にクエリを実行して質問とナレッジの両方を介して最終的なサンプルを取得します。
さらに、2 番目のクエリでは、LoRe は次元削減技術を使用してサンプルの選択を改良し、入力質問の知識との厳密な一致を保証します。
広範な実験を通じて、DQ-LoRe が GPT-4 のサンプルの自動選択において従来の最先端の方法を大幅に上回り、パフォーマンスが 92.5% から 94.2% に向上することを実証しました。
さらに、私たちの包括的な分析により、特に分布の変化を特徴とするシナリオにおいて、DQ-LoRe がパフォーマンスと適応性の両方の点で検索ベースのアプローチよりも一貫して優れていることが明らかになりました。
DQ-LoRe は、コンテキスト内学習の限界を押し広げ、複雑な推論の課題に対処するための新しい道を開きます。
近々コードを公開いたします。

要約(オリジナル)

Recent advances in natural language processing, primarily propelled by Large Language Models (LLMs), have showcased their remarkable capabilities grounded in in-context learning. A promising avenue for guiding LLMs in intricate reasoning tasks involves the utilization of intermediate reasoning steps within the Chain-of-Thought (CoT) paradigm. Nevertheless, the central challenge lies in the effective selection of exemplars for facilitating in-context learning. In this study, we introduce a framework that leverages Dual Queries and Low-rank approximation Re-ranking (DQ-LoRe) to automatically select exemplars for in-context learning. Dual Queries first query LLM to obtain LLM-generated knowledge such as CoT, then query the retriever to obtain the final exemplars via both question and the knowledge. Moreover, for the second query, LoRe employs dimensionality reduction techniques to refine exemplar selection, ensuring close alignment with the input question’s knowledge. Through extensive experiments, we demonstrate that DQ-LoRe significantly outperforms prior state-of-the-art methods in the automatic selection of exemplars for GPT-4, enhancing performance from 92.5\% to 94.2\%. Our comprehensive analysis further reveals that DQ-LoRe consistently outperforms retrieval-based approaches in terms of both performance and adaptability, especially in scenarios characterized by distribution shifts. DQ-LoRe pushes the boundaries of in-context learning and opens up new avenues for addressing complex reasoning challenges. We will release the code soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google