Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach

要約

私たちは、入力データの特徴空間が拡張され、部分的に観察された特徴でトレーニングされたモデルが、それ以上の再トレーニングなしでテスト データ内の新しい特徴を処理する必要がある、オープンワールドの特徴外挿問題をターゲットとしています。
この問題は、さまざまなフィールドから段階的に収集された特徴を扱う場合に非常に重要です。
この目的を達成するために、グラフ表現と学習による新しい学習パラダイムを提案します。
私たちのフレームワークには 2 つのモジュールが含まれています。1) 下位モデルとしてのバックボーン ネットワーク (フィードフォワード ニューラル ネットなど) は特徴を入力として受け取り、予測されたラベルを出力します。
2) 上位モデルとしてのグラフ ニューラル ネットワークは、観測データから構築された特徴データ グラフ上でメッセージ パッシングを介して新しい特徴の埋め込みを外挿することを学習します。
私たちのフレームワークに基づいて、モデルに外挿能力を与え、特徴レベルの過剰適合を軽減するために、自己教師ありアプローチと帰納的学習アプローチという 2 つのトレーニング戦略を設計します。
また、新しい機能を備えたテスト データの汎化誤差に関する理論分析も提供します。これにより、汎化パフォーマンスに対するトレーニング機能とアルゴリズムの影響が詳しく分析されます。
いくつかの分類データセットと大規模な広告クリック予測データセットに対する実験では、私たちのモデルが目に見えない特徴に対して効果的な埋め込みを生成でき、KNN とローカル集約を採用するベースライン手法を大幅に上回るパフォーマンスを示しました。

要約(オリジナル)

We target open-world feature extrapolation problem where the feature space of input data goes through expansion and a model trained on partially observed features needs to handle new features in test data without further retraining. The problem is of much significance for dealing with features incrementally collected from different fields. To this end, we propose a new learning paradigm with graph representation and learning. Our framework contains two modules: 1) a backbone network (e.g., feedforward neural nets) as a lower model takes features as input and outputs predicted labels; 2) a graph neural network as an upper model learns to extrapolate embeddings for new features via message passing over a feature-data graph built from observed data. Based on our framework, we design two training strategies, a self-supervised approach and an inductive learning approach, to endow the model with extrapolation ability and alleviate feature-level over-fitting. We also provide theoretical analysis on the generalization error on test data with new features, which dissects the impact of training features and algorithms on generalization performance. Our experiments over several classification datasets and large-scale advertisement click prediction datasets demonstrate that our model can produce effective embeddings for unseen features and significantly outperforms baseline methods that adopt KNN and local aggregation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google