Struct-X: Enhancing Large Language Models Reasoning with Structured Data

要約

論理情報とリレーショナル情報が豊富な構造化データには、大規模言語モデル (LLM) の推論能力を強化する可能性があります。
それでも、過剰なトークンと無関係なコンテキスト情報によって LLM が圧倒されるリスクがあるため、その統合には課題が生じています。
これに対処するために、私たちは Struct-X を提案します。これは、LLM が構造化データを効率的に利用できるようにする 5 つの主要なフェーズを通じて動作する新しいフレームワークです。「read-model-fill-reflect-reason」です。
まず、グラフ埋め込みを使用して構造化データをトポロジー空間にエンコードし、続いてナレッジ検索モジュールで不足しているエンティティ情報を埋め、自己監視モジュールを介して無関係なトークンを除外します。
最終フェーズでは、選択したトークンを使用してトポロジカル ネットワークを構築し、トークンの合計長をさらに短縮して、より効果的な LLM 推論を実現します。
さらに、Struct-X には、プロンプトを生成するようにトレーニングされた補助モジュールが含まれており、LLM による構造化データの分析を支援します。
ナレッジ グラフの質問と回答のタスクや長い文書の読解タスクなどのベンチマークに関する広範な実験により、Struct-X が LLM 推論を著しく改善することが示され、複雑な入力コンテキストでの LLM 推論の改善における構造化データ拡張の有効性が実証されました。

要約(オリジナル)

Structured data, rich in logical and relational information, has the potential to enhance the reasoning abilities of large language models (LLMs). Still, its integration poses a challenge due to the risk of overwhelming LLMs with excessive tokens and irrelevant context information. To address this, we propose Struct-X, a novel framework that operates through five key phases: “read-model-fill-reflect-reason” efficiently enabling LLMs to utilize structured data. It begins by encoding structured data into a topological space using graph embeddings, followed by filling in missing entity information with knowledge retrieval modules, and filtering out irrelevant tokens via a self-supervised module. The final phase involves constructing a topological network with selected tokens to further reduce the total token length for more effective LLM inference. Additionally, Struct-X includes an Auxiliary Module trained to generate prompts, aiding LLMs in analyzing structured data. Extensive experiments on benchmarks, including the knowledge graph question-answer task and the long document reading comprehension task, show that Struct-X notably improves LLM reasoning, demonstrating the effectiveness of structured data augmentation in improving LLM inference with complex input context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google