KnowTrace: Bootstrapping Iterative Retrieval-Augmented Generation with Structured Knowledge Tracing

要約

検索された生成の最近の進歩（RAG）は、複雑なマルチホップの質問を処理するための関連情報の反復的な取得を備えた大規模な言語モデル（LLM）を提供します。
これらの方法は通常、LLMの推論と検索を交互に交互に、外部情報をLLMのコンテキストに蓄積します。
ただし、増え続けるコンテキストは、重要な情報の間でのつながりを知覚するために、LLMの負担を本質的に課します。これは、この過負荷の問題をさらに悪化させます。
このホワイトペーパーでは、（1）コンテキストの過負荷と（2）より高品質のマルチステップ推論を緩和するためのエレガントなぼろきれフレームワークであるKnowTraceを紹介します。
検索されたコンテンツを単に積み重ねる代わりに、knowtraceは、入力質問に関連する特定の知識グラフを整理するために、望ましい知識トリプレットを自律的に追跡します。
このような構造化されたワークフローは、LLMに推論のためのわかりやすいコンテキストを強化するだけでなく、自然なLLM世代を自己ブートストラップのプロセス監督データとして特定するための知識バックトレースの反射メカニズムを自然に刺激します。
広範な実験では、Knowtraceは3つのマルチホップ質問に留まるベンチマークにわたって既存の方法を常に上回り、ブートストラップバージョンが利益をさらに増幅することが示されています。

要約(オリジナル)

Recent advances in retrieval-augmented generation (RAG) furnish large language models (LLMs) with iterative retrievals of relevant information to handle complex multi-hop questions. These methods typically alternate between LLM reasoning and retrieval to accumulate external information into the LLM’s context. However, the ever-growing context inherently imposes an increasing burden on the LLM to perceive connections among critical information pieces, with futile reasoning steps further exacerbating this overload issue. In this paper, we present KnowTrace, an elegant RAG framework to (1) mitigate the context overload and (2) bootstrap higher-quality multi-step reasoning. Instead of simply piling the retrieved contents, KnowTrace autonomously traces out desired knowledge triplets to organize a specific knowledge graph relevant to the input question. Such a structured workflow not only empowers the LLM with an intelligible context for inference, but also naturally inspires a reflective mechanism of knowledge backtracing to identify contributive LLM generations as process supervision data for self-bootstrapping. Extensive experiments show that KnowTrace consistently surpasses existing methods across three multi-hop question answering benchmarks, and the bootstrapped version further amplifies the gains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google