Homological Neural Networks: A Sparse Architecture for Multivariate Complexity

要約

人工知能研究の急速な進歩に伴い、ますます複雑な深層学習モデルが開発され、計算の複雑さ、エネルギー効率、解釈可能性の面で課題が増大しています。
この研究では、高度なネットワークベースの情報フィルタリング技術を適用して、基礎となるデータの相同構造上に構築された疎な高次グラフィックアーキテクチャを特徴とする新しいディープニューラルネットワークユニットを設計します。
私たちは、表形式データと時系列回帰問題という、深層学習にとって伝統的に課題となっている 2 つのアプリケーション ドメインにおけるその有効性を実証します。
結果は、ほんの一部のパラメーターを使用して、最先端の機械学習モデルと深層学習モデルの結果を結びつけたり、克服したりできる、この新しい設計の利点を示しています。

要約(オリジナル)

The rapid progress of Artificial Intelligence research came with the development of increasingly complex deep learning models, leading to growing challenges in terms of computational complexity, energy efficiency and interpretability. In this study, we apply advanced network-based information filtering techniques to design a novel deep neural network unit characterized by a sparse higher-order graphical architecture built over the homological structure of underlying data. We demonstrate its effectiveness in two application domains which are traditionally challenging for deep learning: tabular data and time series regression problems. Results demonstrate the advantages of this novel design which can tie or overcome the results of state-of-the-art machine learning and deep learning models using only a fraction of parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google