GRAPHGPT-O: Synergistic Multimodal Comprehension and Generation on Graphs

要約

マルチモーダル大手言語モデル（MLLMS）の急速な開発により、テキストや画像を含む複数のモダリティ（LLM）フレームワーク内の複数のモダリティの統合が可能になりました。
ただし、テキストと画像は通常相互接続されており、マルチモーダル属性グラフ（MMAG）を形成します。
MLLMSが、マルチモーダル理解と生成のために、そのようなグラフにリレーショナル情報（\ textit {i.e。}、グラフ構造）およびセマンティック情報（\ textit {i.e。、}テキストと画像）を組み込む方法を説明していません。
このホワイトペーパーでは、MMAGSでのOmni-Multimodalの理解と作成をサポートするGraphGpt-Oを提案します。
まず、線形化バリアントを包括的に研究して、MLLMSの入力としてセマンティックおよび構造情報を変換します。
次に、MMAGとMLLMの間のギャップを埋める深いグラフエンコードを可能にする階層アライナーを提案します。
最後に、グラフシナリオのインターリーブテキストと画像生成にMLLMを適応させる推論の選択肢を探ります。
異なるドメインからの3つのデータセットでの広範な実験は、提案された方法の有効性を示しています。
データセットとコードは、受け入れられるとオープンソーリングされます。

要約(オリジナル)

The rapid development of Multimodal Large Language Models (MLLMs) has enabled the integration of multiple modalities, including texts and images, within the large language model (LLM) framework. However, texts and images are usually interconnected, forming a multimodal attributed graph (MMAG). It is underexplored how MLLMs can incorporate the relational information (\textit{i.e.}, graph structure) and semantic information (\textit{i.e.,} texts and images) on such graphs for multimodal comprehension and generation. In this paper, we propose GraphGPT-o, which supports omni-multimodal understanding and creation on MMAGs. We first comprehensively study linearization variants to transform semantic and structural information as input for MLLMs. Then, we propose a hierarchical aligner that enables deep graph encoding, bridging the gap between MMAGs and MLLMs. Finally, we explore the inference choices, adapting MLLM to interleaved text and image generation in graph scenarios. Extensive experiments on three datasets from different domains demonstrate the effectiveness of our proposed method. Datasets and codes will be open-sourced upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google