Transformers Meet Relational Databases

要約

Transformer モデルは、表形式データを含む、基礎となるシーケンス間表現に変換可能なすべての機械学習ドメインに継続的に拡張されています。
ただし、この表現は遍在的ではありますが、その拡張はリレーショナル データベースのより一般的なケースに限定されます。
この論文では、形式的なリレーショナル モデルに厳密に準拠したモジュール式ニューラル メッセージ パッシング スキームを紹介し、データベース ストレージ システムから表形式の Transformer を直接エンドツーエンドで学習できるようにします。
私たちは、データベース設定において重要である適切な学習データの表現と読み込みという課題に取り組み、非常に広範囲のデータセットにわたるさまざまな関連分野の多数の代表的なモデルと私たちのアプローチを比較します。
私たちの結果は、この新しく提案されたクラスのニューラル アーキテクチャの優れたパフォーマンスを示しています。

要約(オリジナル)

Transformer models have continuously expanded into all machine learning domains convertible to the underlying sequence-to-sequence representation, including tabular data. However, while ubiquitous, this representation restricts their extension to the more general case of relational databases. In this paper, we introduce a modular neural message-passing scheme that closely adheres to the formal relational model, enabling direct end-to-end learning of tabular Transformers from database storage systems. We address the challenges of appropriate learning data representation and loading, which are critical in the database setting, and compare our approach against a number of representative models from various related fields across a significantly wide range of datasets. Our results demonstrate a superior performance of this newly proposed class of neural architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google