Exploiting Field Dependencies for Learning on Categorical Data

要約

カテゴリカル データを学習するための従来のアプローチでは、分類/回帰損失のみによって駆動されるデータ ポイントの埋め込みに依存しているため、データセット内の列 (\別名フィールド) 間の依存関係が十分に活用されていません。
対照的に、フィールド間の依存関係を利用することを目的として、カテゴリデータを学習するための新しい方法を提案します。
特徴量の統計をグローバルに (つまり、特徴量の共分散行列によって) モデリングする代わりに、フィールド間の依存関係を捉えるグローバル フィールド依存性行列を学習し、その後、インスタンスごとのレベルでさまざまな重みを使用してグローバル フィールド依存性行列を改良します (つまり、
-ローカル依存関係モデリングと呼ばれます) w.r.t.
各フィールドを変更して、フィールドの依存関係のモデリングを改善します。
私たちのアルゴリズムはメタ学習パラダイムを活用しています。つまり、依存関係行列はラベルを使用せずにメタ学習アルゴリズムの内側のループで洗練されますが、外側のループは埋め込み行列 (射影を実行する行列) の更新と、
監視された方法で (ラベルを使用して) グローバル依存関係マトリックスを作成します。
私たちの手法はシンプルですが、6 つの一般的なデータセット ベンチマークでいくつかの最先端の手法を上回ります。
詳細なアブレーション研究により、私たちの方法に対するさらなる洞察が得られます。

要約(オリジナル)

Traditional approaches for learning on categorical data underexploit the dependencies between columns (\aka fields) in a dataset because they rely on the embedding of data points driven alone by the classification/regression loss. In contrast, we propose a novel method for learning on categorical data with the goal of exploiting dependencies between fields. Instead of modelling statistics of features globally (i.e., by the covariance matrix of features), we learn a global field dependency matrix that captures dependencies between fields and then we refine the global field dependency matrix at the instance-wise level with different weights (so-called local dependency modelling) w.r.t. each field to improve the modelling of the field dependencies. Our algorithm exploits the meta-learning paradigm, i.e., the dependency matrices are refined in the inner loop of the meta-learning algorithm without the use of labels, whereas the outer loop intertwines the updates of the embedding matrix (the matrix performing projection) and global dependency matrix in a supervised fashion (with the use of labels). Our method is simple yet it outperforms several state-of-the-art methods on six popular dataset benchmarks. Detailed ablation studies provide additional insights into our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google