HorNets: Learning from Discrete and Continuous Signals with Routing Neural Networks

要約

連続的および離散的な表データの両方から学習するのに適したニューラルネットワークアーキテクチャの構築は、挑戦的な研究の努力です。
現代の高次元表形式データセットは、多くの場合、比較的小さなインスタンスカウントによって特徴付けられることが多く、データ効率の高い学習が必要です。
Hornets（Horn Networks）は、希少性データの表形式ドメインからの合成および実生活のデータセットで最先端のパフォーマンスを備えたニューラルネットワークアーキテクチャであることを提案します。
ホーネットは、入力のカーディナリティに基づいて最適化するニューラルネットワークのどの部分を決定するカスタムの離散的な継続的なルーティングメカニズムによって拡張された、切り取られた多項式のような活性化関数に基づいています。
特徴の組み合わせ空間の部分を明示的にモデル化するか、線形の注意のような方法で全体の空間を組み合わせることにより、Hornetsは、明示的な監督なしで特定のデータに最も適した動作モードを動的に決定します。
このアーキテクチャは、論理的な条項（騒々しいXNORを含む）を確実に取得し、14の実生活の生物医学高次元データセットで最先端の分類パフォーマンスを達成する数少ないアプローチの1つです。
ホーネットは、カテゴリーベンチマークの合成ジェネレーターとともに、許容ライセンスの下で自由に利用できます。

要約(オリジナル)

Construction of neural network architectures suitable for learning from both continuous and discrete tabular data is a challenging research endeavor. Contemporary high-dimensional tabular data sets are often characterized by a relatively small instance count, requiring data-efficient learning. We propose HorNets (Horn Networks), a neural network architecture with state-of-the-art performance on synthetic and real-life data sets from scarce-data tabular domains. HorNets are based on a clipped polynomial-like activation function, extended by a custom discrete-continuous routing mechanism that decides which part of the neural network to optimize based on the input’s cardinality. By explicitly modeling parts of the feature combination space or combining whole space in a linear attention-like manner, HorNets dynamically decide which mode of operation is the most suitable for a given piece of data with no explicit supervision. This architecture is one of the few approaches that reliably retrieves logical clauses (including noisy XNOR) and achieves state-of-the-art classification performance on 14 real-life biomedical high-dimensional data sets. HorNets are made freely available under a permissive license alongside a synthetic generator of categorical benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google