Towards Foundation Models for Relational Databases [Vision Paper]

要約

表形式の学習は最近大きな注目を集めています。
しかし、既存のアプローチは、単一のテーブルから表現を学習するだけであり、したがって、文脈化された表現のための重要な情報を含む可能性がある隣接するテーブルを含む、リレーショナル データベースの完全な構造から学習する可能性を無視しています。
さらに、現在のモデルは規模が大幅に制限されているため、大規模なデータベースから学習することができません。
したがって、この論文では、完全なリレーショナル構造から学習できるだけでなく、現実世界でよく見られるより大きなデータベース サイズに拡張することもできる、リレーショナル表現学習のビジョンを紹介します。
さらに、このビジョンを実現し、非常に有望な初期結果を提示するために、その過程で見られる機会と課題についても説明します。
全体として、この方向性は、現在テキストと画像にしか利用できないリレーショナル データベースの基礎モデルにつながる可能性があると私たちは主張します。

要約(オリジナル)

Tabular representation learning has recently gained a lot of attention. However, existing approaches only learn a representation from a single table, and thus ignore the potential to learn from the full structure of relational databases, including neighboring tables that can contain important information for a contextualized representation. Moreover, current models are significantly limited in scale, which prevents that they learn from large databases. In this paper, we thus introduce our vision of relational representation learning, that can not only learn from the full relational structure, but also can scale to larger database sizes that are commonly found in real-world. Moreover, we also discuss opportunities and challenges we see along the way to enable this vision and present initial very promising results. Overall, we argue that this direction can lead to foundation models for relational databases that are today only available for text and images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google