TrustUQA: A Trustful Framework for Unified Structured Data Question Answering

要約

テーブルやナレッジ グラフなどの構造化データ ソースを使用した自然言語の質問応答 (QA) は、特に近年の大規模言語モデル (LLM) を使用して広く研究されています。
主なソリューションには、質問から正式なクエリへの解析と、検索ベースの回答生成が含まれます。
しかし、前者の現在の方法は一般化が弱く、複数の種類の情報源を扱うことができないことが多く、後者の方法は信頼性に限界があります。
本稿では、複数種類の構造化データを統一的に同時にサポートできる信頼性の高いQAフレームワークであるTrustUQAを提案します。
この目的を達成するために、Condition Graph (CG) と呼ばれる LLM に適した統一された知識表現方法を採用し、CG クエリには LLM とデモベースの 2 レベルの方法を使用します。
機能強化として、動的デモンストレーション検索も装備されています。
3 種類の構造化データをカバーする 5 つのベンチマークで TrustUQA を評価しました。
既存の 2 つの統合構造化データ QA メソッドよりも優れたパフォーマンスを発揮します。
1 つのデータ タイプに固有のベースラインと比較して、2 つのデータセットで最先端のレベルを実現します。
さらに、より一般的な QA タスク、混合構造化データに対する QA、および構造化データ全体にわたる QA に対するこの方法の可能性を実証しました。
コードは https://github.com/zjukg/TrustUQA で入手できます。

要約(オリジナル)

Natural language question answering (QA) over structured data sources such as tables and knowledge graphs have been widely investigated, especially with Large Language Models (LLMs) in recent years. The main solutions include question to formal query parsing and retrieval-based answer generation. However, current methods of the former often suffer from weak generalization, failing to dealing with multi-types of sources, while the later is limited in trustfulness. In this paper, we propose TrustUQA, a trustful QA framework that can simultaneously support multiple types of structured data in a unified way. To this end, it adopts an LLM-friendly and unified knowledge representation method called Condition Graph(CG), and uses an LLM and demonstration-based two-level method for CG querying. For enhancement, it is also equipped with dynamic demonstration retrieval. We have evaluated TrustUQA with 5 benchmarks covering 3 types of structured data. It outperforms 2 existing unified structured data QA methods. In comparison with the baselines that are specific to one data type, it achieves state-of-the-art on 2 of the datasets. Further more, we have demonstrated the potential of our method for more general QA tasks, QA over mixed structured data and QA across structured data. The code is available at https://github.com/zjukg/TrustUQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google