RelBench: A Benchmark for Deep Learning on Relational Databases

要約

グラフ ニューラル ネットワークを使用したリレーショナル データベース上で予測タスクを解決するための公開ベンチマークである RelBench を紹介します。
RelBench は、さまざまなドメインと規模にわたるデータベースとタスクを提供し、将来の研究の基礎インフラとなることを目的としています。
私たちは、RelBench を使用して、リレーショナルディープラーニング (RDL) の最初の包括的な研究を実施しました (Fey et al., 2024)。これは、グラフニューラルネットワーク予測モデルと、生のテーブルから初期のエンティティレベルの表現を抽出する (深い) 表形式モデルを組み合わせたものです。
エンドツーエンドの学習済み RDL モデルは、主キーと外部キーのリンクにエンコードされた予測信号を最大限に活用し、表形式モデルと組み合わせた手動特徴量エンジニアリングの支配的なパラダイムからの大きな転換を示しています。
この従来のゴールドスタンダードに照らして RDL を徹底的に評価するために、経験豊富なデータ サイエンティストが各タスクの機能を手動で設計する詳細なユーザー調査を実施します。
この研究では、RDL は必要な人間の作業を一桁以上削減しながら、より優れたモデルを学習します。
これは、リレーショナル データベース上で予測タスクを解決するためのディープ ラーニングの力を示しており、RelBench によって可能になる多くの新しい研究の機会が開かれます。

要約(オリジナル)

We present RelBench, a public benchmark for solving predictive tasks over relational databases with graph neural networks. RelBench provides databases and tasks spanning diverse domains and scales, and is intended to be a foundational infrastructure for future research. We use RelBench to conduct the first comprehensive study of Relational Deep Learning (RDL) (Fey et al., 2024), which combines graph neural network predictive models with (deep) tabular models that extract initial entity-level representations from raw tables. End-to-end learned RDL models fully exploit the predictive signal encoded in primary-foreign key links, marking a significant shift away from the dominant paradigm of manual feature engineering combined with tabular models. To thoroughly evaluate RDL against this prior gold-standard, we conduct an in-depth user study where an experienced data scientist manually engineers features for each task. In this study, RDL learns better models whilst reducing human work needed by more than an order of magnitude. This demonstrates the power of deep learning for solving predictive tasks over relational databases, opening up many new research opportunities enabled by RelBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google