Joint Embeddings for Graph Instruction Tuning

要約

Large Language Model (LLM) は、テキスト理解において目覚ましいパフォーマンスを達成し、スマート アシスタントを構築するための不可欠なツールとなっています。
当初はテキストに重点を置いていましたが、最近の研究ではマルチモーダル機能が強化され、アシスタントに続く視覚的な指示を構築することに成功しました。
ただし、グラフ モダリティに関する限り、そのようなアシスタントはまだ開発されていません。
グラフ構造は、異なる特徴間の関係を表し、順列不変であるという点で複雑です。
さらに、それらを純粋にテキスト形式で表現することは、たとえ微調整されたモデルであっても常に良好な LLM パフォーマンスにつながるとは限りません。
その結果、一般的なグラフを理解するために LLM にグラフを統合する新しい方法を開発する必要があります。
この研究では、タスクに続く一般的なグラフ命令のための LLM におけるグラフ モダリティの統合を検討します。
これは、グラフの埋め込みを使用して基礎となる LLM を強化し、グラフの埋め込みを理解して、指示が与えられた場合にグラフ表現に基づいた回答を生成するようにトレーニングする深層学習モデルを作成することを目的としています。
このアプローチは、グラフからテキストへのアプローチよりもパフォーマンスが大幅に優れており、大きなグラフでも一貫性を保ちます。

要約(オリジナル)

Large Language Models (LLMs) have achieved impressive performance in text understanding and have become an essential tool for building smart assistants. Originally focusing on text, they have been enhanced with multimodal capabilities in recent works that successfully built visual instruction following assistants. As far as the graph modality goes, however, no such assistants have yet been developed. Graph structures are complex in that they represent relation between different features and are permutation invariant. Moreover, representing them in purely textual form does not always lead to good LLM performance even for finetuned models. As a result, there is a need to develop a new method to integrate graphs in LLMs for general graph understanding. This work explores the integration of the graph modality in LLM for general graph instruction following tasks. It aims at producing a deep learning model that enhances an underlying LLM with graph embeddings and trains it to understand them and to produce, given an instruction, an answer grounded in the graph representation. The approach performs significantly better than a graph to text approach and remains consistent even for larger graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google