ClaimPKG: Enhancing Claim Verification via Pseudo-Subgraph Generation with Lightweight Specialized LLM

要約

知識グラフ（KGS）を統合して、大規模な言語モデル（LLM）の推論能力を強化することは、クレーム検証における新たな研究課題です。
KGSは、推論に適した構造化された意味的に豊富な表現を提供しますが、ほとんどの既存の検証方法は非構造化されたテキストコーパスに依存しており、KGSを効果的に活用する能力を制限しています。
さらに、強力な推論能力を持っているにもかかわらず、現代のLLMはマルチステップモジュラーパイプラインと適応せずにKGを介した推論に苦労しています。
これらの課題に対処するために、LLMの推論をKGSからの構造化された知識とシームレスに統合するエンドツーエンドのフレームワークであるrackpkgを提案します。
具体的には、rackPKGの主なアイデアは、軽量で専門のLLMを使用して入力クレームを擬似サブグラフとして表すことです。
これらの検索されたサブグラフは、汎用LLMによって処理され、最終的な評決と正当化が生成されます。
FACTKGデータセットでの広範な実験は、RACHEPKGが最新のパフォーマンスを達成し、複数のカテゴリでこの研究分野での強力なベースラインを9％〜12％の精度ポイントで上回ることを示しています。
さらに、rablePKGは、HoverやFeverousなどの非構造化データセットにゼロショットの一般化可能性を示し、KGSの構造化された知識とさまざまなLLMバックボーンにわたってLLM推論を効果的に組み合わせています。

要約(オリジナル)

Integrating knowledge graphs (KGs) to enhance the reasoning capabilities of large language models (LLMs) is an emerging research challenge in claim verification. While KGs provide structured, semantically rich representations well-suited for reasoning, most existing verification methods rely on unstructured text corpora, limiting their ability to effectively leverage KGs. Additionally, despite possessing strong reasoning abilities, modern LLMs struggle with multi-step modular pipelines and reasoning over KGs without adaptation. To address these challenges, we propose ClaimPKG, an end-to-end framework that seamlessly integrates LLM reasoning with structured knowledge from KGs. Specifically, the main idea of ClaimPKG is to employ a lightweight, specialized LLM to represent the input claim as pseudo-subgraphs, guiding a dedicated subgraph retrieval module to identify relevant KG subgraphs. These retrieved subgraphs are then processed by a general-purpose LLM to produce the final verdict and justification. Extensive experiments on the FactKG dataset demonstrate that ClaimPKG achieves state-of-the-art performance, outperforming strong baselines in this research field by 9%-12% accuracy points across multiple categories. Furthermore, ClaimPKG exhibits zero-shot generalizability to unstructured datasets such as HoVer and FEVEROUS, effectively combining structured knowledge from KGs with LLM reasoning across various LLM backbones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google