Triad: A Framework Leveraging a Multi-Role LLM-based Agent to Solve Knowledge Base Question Answering

要約

LLM ベースのエージェントの最近の進歩により、さまざまなタスクにわたって有望な結果が得られています。
ただし、ナレッジ ベースからの質問に答える際のそれらの使用は、ほとんど解明されていないままです。
従来の方法を使用して KBQA システムを実装することは、タスク固有のトレーニング データが不足していることと、タスクに焦点を当てたモデル構造の作成が複雑であるため、困難です。
このペーパーでは、KBQA タスクに 3 つの役割を持つ LLM ベースのエージェントを利用する統合フレームワークである Triad について説明します。
エージェントには、さまざまな KBQA サブタスクに取り組むための 3 つの役割が割り当てられます。さまざまなサブタスクを習得するジェネラリストとしてのエージェント、候補者を選択する意思決定者としてのエージェント、および知識を持って質問に答えるアドバイザーとしてのエージェントです。
当社の KBQA フレームワークは、エージェントの複数の役割の連携を伴う 4 つのフェーズで実行されます。
3 つのベンチマーク データセットを使用してフレームワークのパフォーマンスを評価しました。その結果、LC-QuAD ベンチマークと YAGO-QA ベンチマークでは、フレームワークが最先端のシステムよりも優れており、F1 スコアがそれぞれ 11.8% と 20.7% であることがわかりました。
。

要約(オリジナル)

Recent progress with LLM-based agents has shown promising results across various tasks. However, their use in answering questions from knowledge bases remains largely unexplored. Implementing a KBQA system using traditional methods is challenging due to the shortage of task-specific training data and the complexity of creating task-focused model structures. In this paper, we present Triad, a unified framework that utilizes an LLM-based agent with three roles for KBQA tasks. The agent is assigned three roles to tackle different KBQA subtasks: agent as a generalist for mastering various subtasks, as a decision maker for the selection of candidates, and as an advisor for answering questions with knowledge. Our KBQA framework is executed in four phases, involving the collaboration of the agent’s multiple roles. We evaluated the performance of our framework using three benchmark datasets, and the results show that our framework outperforms state-of-the-art systems on the LC-QuAD and YAGO-QA benchmarks, yielding F1 scores of 11.8% and 20.7%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google