DQ-LoRe: Dual Queries with Low Rank Approximation Re-ranking for In-Context Learning

要約

最近の自然言語処理の進歩は、主に大規模言語モデル（Large Language Models: LLM）によって推進され、文脈内学習に基づくその顕著な能力を示している。LLMを複雑な推論タスクに導くための有望な手段は、Chain-of-Thought（CoT）パラダイムにおける中間推論ステップの利用である。しかしながら、中心的な課題は、文脈内学習を促進するための効果的な模範の選択にある。本研究では、Dual Queries and Low-rank approximation Re-ranking (DQ-LoRe)を活用して、文脈内学習のための模範例を自動的に選択するフレームワークを紹介する。デュアルクエリはまずLLMに問い合わせ、LLMが生成したCoTのような知識を取得し、次にリトリーバに問い合わせ、質問と知識の両方を介して最終的な模範例を取得する。さらに、LoReは2つ目のクエリに対して、入力された質問の知識との緊密な整合を確保しながら、模範解答の選択を洗練させるために次元削減技術を用いる。広範な実験を通して、我々はDQ-LoReがGPT-4の模範解答の自動選択において、先行する最先端の手法を大幅に上回り、92.5%から94.2%まで性能が向上することを実証した。我々の包括的な分析により、DQ-LoReは性能と適応性の両方において、特に分布のシフトを特徴とするシナリオにおいて、一貫して検索ベースのアプローチを上回ることが明らかになった。DQ-LoReは文脈内学習の境界を押し広げ、複雑な推論課題に取り組むための新しい道を開く。我々のコードはhttps://github.com/AI4fun/DQ-LoRe}{https://github.com/AI4fun/DQ-LoRe。

要約(オリジナル)

Recent advances in natural language processing, primarily propelled by Large Language Models (LLMs), have showcased their remarkable capabilities grounded in in-context learning. A promising avenue for guiding LLMs in intricate reasoning tasks involves the utilization of intermediate reasoning steps within the Chain-of-Thought (CoT) paradigm. Nevertheless, the central challenge lies in the effective selection of exemplars for facilitating in-context learning. In this study, we introduce a framework that leverages Dual Queries and Low-rank approximation Re-ranking (DQ-LoRe) to automatically select exemplars for in-context learning. Dual Queries first query LLM to obtain LLM-generated knowledge such as CoT, then query the retriever to obtain the final exemplars via both question and the knowledge. Moreover, for the second query, LoRe employs dimensionality reduction techniques to refine exemplar selection, ensuring close alignment with the input question’s knowledge. Through extensive experiments, we demonstrate that DQ-LoRe significantly outperforms prior state-of-the-art methods in the automatic selection of exemplars for GPT-4, enhancing performance from 92.5% to 94.2%. Our comprehensive analysis further reveals that DQ-LoRe consistently outperforms retrieval-based approaches in terms of both performance and adaptability, especially in scenarios characterized by distribution shifts. DQ-LoRe pushes the boundary of in-context learning and opens up new avenues for addressing complex reasoning challenges. Our code is released at https://github.com/AI4fun/DQ-LoRe}{https://github.com/AI4fun/DQ-LoRe.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL