TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization

要約

非構造化データでの成功にもかかわらず、ディープ ニューラル ネットワークはまだ構造化された表形式データの万能薬ではありません。
表形式の領域では、オーバーフィッティングを防ぎ、強力な一般化パフォーマンスを提供するために、その効率はさまざまな形式の正則化に大きく依存しています。
既存の正則化手法には、アーキテクチャの選択、損失関数、最適化手法など、幅広いモデリングの決定が含まれます。
この作業では、表形式のニューラル勾配直交化と特殊化 (TANGOS) を紹介します。これは、潜在ユニットの属性に基づいて構築された表形式の設定で正則化するための新しいフレームワークです。
特定の入力機能に関する活性化の勾配属性は、ニューロンがその機能にどのように対応するかを示唆し、多くの場合、ディープ ネットワークの予測を解釈するために使用されます。
TANGOS では、別のアプローチを採用し、ニューロンの属性をトレーニングに直接組み込んで、完全に接続されたネットワークで潜在的な属性の直交化と特殊化を促進します。
私たちのレギュラライザーは、ニューロンがまばらで重複しない入力機能に集中することを奨励し、多様で特殊化された潜在ユニットのセットをもたらします。
表形式のドメインでは、私たちのアプローチがサンプル外の一般化パフォーマンスの向上につながり、他の一般的な正規化方法よりも優れていることを示しています。
レギュラーライザーが効果的である理由についての洞察を提供し、TANGOS を既存の方法と組み合わせて適用して、さらに優れた一般化パフォーマンスを達成できることを示します。

要約(オリジナル)

Despite their success with unstructured data, deep neural networks are not yet a panacea for structured tabular data. In the tabular domain, their efficiency crucially relies on various forms of regularization to prevent overfitting and provide strong generalization performance. Existing regularization techniques include broad modelling decisions such as choice of architecture, loss functions, and optimization methods. In this work, we introduce Tabular Neural Gradient Orthogonalization and Specialization (TANGOS), a novel framework for regularization in the tabular setting built on latent unit attributions. The gradient attribution of an activation with respect to a given input feature suggests how the neuron attends to that feature, and is often employed to interpret the predictions of deep networks. In TANGOS, we take a different approach and incorporate neuron attributions directly into training to encourage orthogonalization and specialization of latent attributions in a fully-connected network. Our regularizer encourages neurons to focus on sparse, non-overlapping input features and results in a set of diverse and specialized latent units. In the tabular domain, we demonstrate that our approach can lead to improved out-of-sample generalization performance, outperforming other popular regularization methods. We provide insight into why our regularizer is effective and demonstrate that TANGOS can be applied jointly with existing methods to achieve even greater generalization performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google