GLaM: Fine-Tuning Large Language Models for Domain Knowledge Graph Alignment via Neighborhood Partitioning and Generative Subgraph Encoding

要約

大規模言語モデル (LLM) とドメイン固有のデータから派生したナレッジ グラフを統合することは、より強力で事実に基づいた推論に向けた重要な進歩を表します。
これらのモデルの機能が向上するにつれ、幻覚を最小限に抑えながら現実世界のナレッジ グラフに対して多段階の推論を実行できるようにすることが重要になります。
大規模な言語モデルは会話やテキスト生成には優れていますが、相互接続されたエンティティのドメインに特化したグラフを推論する能力は依然として限られています。
たとえば、LLM にクエリを実行して、プライベート データベース内の関係と属性に基づいて、特定の目標に向けたプロフェッショナル ネットワーク内の最適な連絡先を特定できるでしょうか?
答えはノーです。そのような機能は現在の方法を超えています。
しかし、この疑問は、対処しなければならない重大な技術的ギャップを浮き彫りにしています。
科学、セキュリティ、電子商取引などの分野における価値の高いアプリケーションの多くは、独自の構造、関係、論理制約をエンコードした独自のナレッジ グラフに依存しています。
ナレッジ グラフを、ラベル付きの質問と回答のペアを含む代替テキスト表現に変換する、Graph-aligned LANguage Models (GLaM) を開発するための微調整フレームワークを導入します。
特定のグラフベースの知識をモデルに根付かせることで、構造ベースの推論に対するモデルの能力が拡張されることを実証します。
私たちの方法論は、大規模言語モデルの生成機能を活用してデータセットを作成し、検索拡張生成スタイルの方法に代わる効率的な方法を提案します。

要約(オリジナル)

Integrating large language models (LLMs) with knowledge graphs derived from domain-specific data represents an important advancement towards more powerful and factual reasoning. As these models grow more capable, it is crucial to enable them to perform multi-step inferences over real-world knowledge graphs while minimizing hallucination. While large language models excel at conversation and text generation, their ability to reason over domain-specialized graphs of interconnected entities remains limited. For example, can we query a LLM to identify the optimal contact in a professional network for a specific goal, based on relationships and attributes in a private database? The answer is no–such capabilities lie beyond current methods. However, this question underscores a critical technical gap that must be addressed. Many high-value applications in areas such as science, security, and e-commerce rely on proprietary knowledge graphs encoding unique structures, relationships, and logical constraints. We introduce a fine-tuning framework for developing Graph-aligned LAnguage Models (GLaM) that transforms a knowledge graph into an alternate text representation with labeled question-answer pairs. We demonstrate that grounding the models in specific graph-based knowledge expands the models’ capacity for structure-based reasoning. Our methodology leverages the large-language model’s generative capabilities to create the dataset and proposes an efficient alternate to retrieval-augmented generation styled methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google