GCondNet: A Novel Method for Improving Neural Networks on Small High-Dimensional Tabular Data

要約

ニューラル ネットワーク モデルは、高次元ではあるがサンプル サイズが小さい表形式のデータセットに苦戦することがよくあります。
理由の 1 つは、現在の重み初期化方法が重み間の独立性を前提としているためであり、モデルのパラメーターを正確に推定するのに十分なサンプルがない場合に問題が発生する可能性があります。
このような小規模なデータのシナリオでは、追加の構造を利用することでモデルのパフォーマンスとトレーニングの安定性を向上させることができます。
これに対処するために、表形式データに存在する暗黙的な構造を活用してニューラル ネットワークを強化する一般的なアプローチである GCondNet を提案します。
データ次元ごとにサンプル間のグラフを作成し、グラフ ニューラル ネットワーク (GNN) を利用してこの暗黙的な構造を抽出し、基礎となる予測子ネットワークの最初の層のパラメーターを調整します。
GCondNet は、多数の小さなグラフを作成することでデータの高次元性を活用し、基礎となる予測ネットワークのパフォーマンスを向上させます。
9 つの現実世界のデータセットでこの手法の有効性を実証しました。GCondNet は 15 の標準および最先端の手法を上回っています。
結果は、GCondNet が、MLP や表形式の Transformer を含むさまざまなタイプのニューラル ネットワークにグラフ正則化を注入するための多用途のフレームワークであることを示しています。

要約(オリジナル)

Neural network models often struggle with high-dimensional but small sample-size tabular datasets. One reason is that current weight initialisation methods assume independence between weights, which can be problematic when there are insufficient samples to estimate the model’s parameters accurately. In such small data scenarios, leveraging additional structures can improve the model’s performance and training stability. To address this, we propose GCondNet, a general approach to enhance neural networks by leveraging implicit structures present in tabular data. We create a graph between samples for each data dimension, and utilise Graph Neural Networks (GNNs) for extracting this implicit structure, and for conditioning the parameters of the first layer of an underlying predictor network. By creating many small graphs, GCondNet exploits the data’s high-dimensionality, and thus improves the performance of an underlying predictor network. We demonstrate the effectiveness of our method on 9 real-world datasets, where GCondNet outperforms 15 standard and state-of-the-art methods. The results show that GCondNet is a versatile framework for injecting graph-regularisation into various types of neural networks, including MLPs and tabular Transformers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google