要約
リレーショナルデータベース（RDB）専用に設計された最初の基礎モデルの試みであるGriffinを紹介します。
単一のRDBタスクに焦点を当てた以前の小さなモデルとは異なり、Griffinはデータエンコーダとタスクデコーダーを統合して、多様なタスクを処理します。
さらに、クロスアテンションモジュールと新しいアグリゲーターを組み込むことにより、アーキテクチャを強化します。
Griffinは、シングルテーブルとRDBの両方のデータセットで前登録を利用して、カテゴリ、数値、およびメタデータ機能に高度なエンコーダを使用し、革新的なコンポーネントや革新的なコンポーネントを使用し、メッセージパッシングニューラルネットワーク（MPNN）などの革新的なコンポーネントを使用して、適切なデータの複雑さをキャプチャします。
Griffinは、さまざまなドメイン（1億5,000万節以上）にわたってRDBから抽出された大規模、不均一、および時間グラフで評価され、個別にトレーニングされたモデルに優れたまたは同等のパフォーマンスを示し、低データシナリオで優れており、新しいデータセットを超えて潜在的な根拠を越えて普及していることにおいて類似性と多様性を備えた強い移動性を示しています。
https://github.com/yanxwb/griffinで入手可能なコード。
要約(オリジナル)
We introduce Griffin, the first foundation model attemptation designed specifically for Relational Databases (RDBs). Unlike previous smaller models focused on single RDB tasks, Griffin unifies the data encoder and task decoder to handle diverse tasks. Additionally, we enhance the architecture by incorporating a cross-attention module and a novel aggregator. Griffin utilizes pretraining on both single-table and RDB datasets, employing advanced encoders for categorical, numerical, and metadata features, along with innovative components such as cross-attention modules and enhanced message-passing neural networks (MPNNs) to capture the complexities of relational data. Evaluated on large-scale, heterogeneous, and temporal graphs extracted from RDBs across various domains (spanning over 150 million nodes), Griffin demonstrates superior or comparable performance to individually trained models, excels in low-data scenarios, and shows strong transferability with similarity and diversity in pretraining across new datasets and tasks, highlighting its potential as a universally applicable foundation model for RDBs. Code available at https://github.com/yanxwb/Griffin.
arxiv情報
| 著者 | Yanbo Wang,Xiyuan Wang,Quan Gan,Minjie Wang,Qibin Yang,David Wipf,Muhan Zhang |
| 発行日 | 2025-06-11 17:37:10+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google