DynaGRAG | Exploring the Topology of Information for Advancing Language Understanding and Generation in Graph Retrieval-Augmented Generation

要約

グラフの検索された生成（グラグまたはグラフぼろきれ）アーキテクチャは、外部の知識を活用することにより、言語の理解と生成を強化することを目的としています。
ただし、テキストおよび構造化されたデータに存在する豊富なセマンティック情報を効果的にキャプチャして統合することは依然として課題です。
これに対処するために、新しいGrag Framework、動的グラフ検索装備（Dynagrag）が、知識グラフ内のサブグラフ表現と多様性の強化に焦点を当てるように提案されています。
グラフ密度を改善し、エンティティと関係情報をより効果的にキャプチャし、関連する多様なサブグラフと情報に動的に優先順位を付けることにより、提案されたアプローチにより、基礎となるセマンティック構造をより包括的に理解することができます。
これは、重複脱重プロセスの組み合わせ、埋め込みの2段階の平均プーリング、一意のノードを考慮したクエリ認識検索、および動的な類似性認識BFS（DSA-BFS）横断アルゴリズムを通じて達成されます。
グラフ畳み込みネットワーク（GCNS）および大規模な言語モデル（LLM）をハードプロンプトで統合すると、階層サブグラフ構造を保持しながら、リッチノードとエッジ表現の学習がさらに強化されます。
実験結果は、ダイナグラグの有効性を示し、言語の理解と生成を改善するためのサブグラフ表現の強化と多様性の重要性を示しています。

要約(オリジナル)

Graph Retrieval-Augmented Generation (GRAG or Graph RAG) architectures aim to enhance language understanding and generation by leveraging external knowledge. However, effectively capturing and integrating the rich semantic information present in textual and structured data remains a challenge. To address this, a novel GRAG framework, Dynamic Graph Retrieval-Agumented Generation (DynaGRAG), is proposed to focus on enhancing subgraph representation and diversity within the knowledge graph. By improving graph density, capturing entity and relation information more effectively, and dynamically prioritizing relevant and diverse subgraphs and information within them, the proposed approach enables a more comprehensive understanding of the underlying semantic structure. This is achieved through a combination of de-duplication processes, two-step mean pooling of embeddings, query-aware retrieval considering unique nodes, and a Dynamic Similarity-Aware BFS (DSA-BFS) traversal algorithm. Integrating Graph Convolutional Networks (GCNs) and Large Language Models (LLMs) through hard prompting further enhances the learning of rich node and edge representations while preserving the hierarchical subgraph structure. Experimental results demonstrate the effectiveness of DynaGRAG, showcasing the significance of enhanced subgraph representation and diversity for improved language understanding and generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google