要約
深層学習に適したデータ分布とは何かという問題は、根本的な未解決の問題です。
ローカルに接続されたニューラル ネットワーク (畳み込みおよび再帰型ニューラル ネットワークとローカル自己注意モデルを含む一般的なアーキテクチャのファミリー) に焦点を当て、量子物理学の理論的ツールを採用することでこの問題に対処します。
私たちの主な理論的結果は、特定の局所的に接続されたニューラル ネットワークは、データ分布が特徴の特定の正規分割の下で低い量子エンタングルメントを許容する場合にのみ、データ分布に対して正確な予測が可能であると述べています。
この結果の実用的なアプリケーションとして、局所的に接続されたニューラル ネットワークへのデータ分布の適合性を高めるための前処理方法を導き出します。
さまざまなデータセットに対する広範なモデルを使用した実験は、私たちの調査結果を示しています。
量子もつれを使用することで、深層学習と実世界のデータの関係を正式に推論するための物理学からのツールの採用がさらに促進されることを願っています。
要約(オリジナル)
The question of what makes a data distribution suitable for deep learning is a fundamental open problem. Focusing on locally connected neural networks (a prevalent family of architectures that includes convolutional and recurrent neural networks as well as local self-attention models), we address this problem by adopting theoretical tools from quantum physics. Our main theoretical result states that a certain locally connected neural network is capable of accurate prediction over a data distribution if and only if the data distribution admits low quantum entanglement under certain canonical partitions of features. As a practical application of this result, we derive a preprocessing method for enhancing the suitability of a data distribution to locally connected neural networks. Experiments with widespread models over various datasets demonstrate our findings. We hope that our use of quantum entanglement will encourage further adoption of tools from physics for formally reasoning about the relation between deep learning and real-world data.
arxiv情報
| 著者 | Yotam Alexander,Nimrod De La Vega,Noam Razin,Nadav Cohen |
| 発行日 | 2023-03-20 16:34:39+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google