Do Quantum Neural Networks have Simplicity Bias?

要約

ディープニューラルネットワーク（DNN）の成功の1つの仮説は、DNNは表現力が高いため多くの問題に適用できること、そして単純性バイアスとして知られる、単純な解に向かう強い帰納的バイアスを持つことである。この研究では、量子ニューラルネットワーク（QNN）の帰納的バイアスと表現力を探索し、DNNと性能を比較する方法を提供する。その結果、ある種のQNNでは単純性バイアスを持つことが可能であるが、この種のQNNでは表現力が制限されることを証明する。また、高い表現力を持つQNNも可能であるが、それらは帰納的バイアスを持たないか、あるいは帰納的バイアスが乏しく、DNNに比べて汎化性能が劣ることも示す。我々は、QNNの表現力を意図的に制限することで、人工的な（制限された）帰納バイアスを作り出すことができることを実証する。我々の結果は、バイアスと表現力のトレードオフを示唆している。我々の結論は、我々が研究したQNNは、DNNと比較して誘導バイアスが低いか、表現力が低いかのどちらかであるため、一般的にDNNに対する優位性を提供できないということである。

要約(オリジナル)

One hypothesis for the success of deep neural networks (DNNs) is that they are highly expressive, which enables them to be applied to many problems, and they have a strong inductive bias towards solutions that are simple, known as simplicity bias, which allows them to generalise well on unseen data because most real-world data is structured (i.e. simple). In this work, we explore the inductive bias and expressivity of quantum neural networks (QNNs), which gives us a way to compare their performance to those of DNNs. Our results show that it is possible to have simplicity bias with certain QNNs, but we prove that this type of QNN limits the expressivity of the QNN. We also show that it is possible to have QNNs with high expressivity, but they either have no inductive bias or a poor inductive bias and result in a worse generalisation performance compared to DNNs. We demonstrate that an artificial (restricted) inductive bias can be produced by intentionally restricting the expressivity of a QNN. Our results suggest a bias-expressivity tradeoff. Our conclusion is that the QNNs we studied can not generally offer an advantage over DNNs, because these QNNs either have a poor inductive bias or poor expressivity compared to DNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL