Reasoning Graph Enhanced Exemplars Retrieval for In-Context Learning

要約

大規模言語モデル (LLM) は、優れた少数ショット学習機能を示し、インコンテキスト学習 (ICL) 手法を通じて NLP タスクのパラダイムを統一しました。
ICL の成功にもかかわらず、模範的なデモンストレーションの品質は LLM のパフォーマンスに大きな影響を与える可能性があります。
既存のサンプル選択方法は、主にクエリと候補サンプル間の意味論的な類似性に焦点を当てています。
一方、推論ステップ間の論理的なつながりは、問題解決プロセスを描写するのにも有益です。
本稿では、Reasoning Graph-enhanced Exemplar Retrieval(RGER)と呼ばれる新しい手法を提案する。
RGER は、まず LLM に初期応答を生成するよう要求し、次に中間の問題解決ステップをグラフ構造に表現します。
その後、グラフ カーネルを使用して、意味的および構造的な類似性を持つサンプルを選択します。
広範な実験により、構造的関係がクエリと候補サンプルの調整に役立つことが実証されました。
数学およびロジット推論タスクにおける RGER の有効性は、最先端の検索ベースのアプローチよりも優れていることを示しています。
私たちのコードは https://github.com/Yukang-Lin/RGER で公開されています。

要約(オリジナル)

Large language models(LLMs) have exhibited remarkable few-shot learning capabilities and unified the paradigm of NLP tasks through the in-context learning(ICL) technique. Despite the success of ICL, the quality of the exemplar demonstrations can significantly influence the LLM’s performance. Existing exemplar selection methods mainly focus on the semantic similarity between queries and candidate exemplars. On the other hand, the logical connections between reasoning steps can be beneficial to depict the problem-solving process as well. In this paper, we proposes a novel method named Reasoning Graph-enhanced Exemplar Retrieval(RGER). RGER first quires LLM to generate an initial response, then expresses intermediate problem-solving steps to a graph structure. After that, it employs graph kernel to select exemplars with semantic and structural similarity. Extensive experiments demonstrate the structural relationship is helpful to the alignment of queries and candidate exemplars. The efficacy of RGER on math and logit reasoning tasks showcases its superiority over state-of-the-art retrieval-based approaches. Our code is released at https://github.com/Yukang-Lin/RGER.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google