Information plane and compression-gnostic feedback in quantum machine learning

要約

情報プレーン (Tishby et al. arXiv:physics/0004057、Shwartz-Ziv et al. arXiv:1703.00810) は、ニューラル ネットワークの学習ダイナミクスを研究するための分析ツールとして提案されています。
これは、最小限の十分な統計を近似することによって、モデルが学習された状態にどのように近づくかについて定量的な洞察を提供します。
この論文では、このツールを量子学習モデルの領域に拡張します。
2 番目のステップでは、モデルが入力データ (情報プレーンによって提供される) をどの程度圧縮するかに関する洞察を学習アルゴリズムの改善にどのように使用できるかを検討します。
具体的には、これを行うための 2 つの方法を検討します。損失関数の乗法正則化を使用する方法と、学習率の圧縮に依存しないスケジューラー (勾配降下法に基づくアルゴリズムの場合) を使用する方法です。
私たちの実装ではどちらの方法も同等であることがわかります。
最後に、変分量子回路を使用したいくつかの分類および回帰タスクで、提案された学習アルゴリズムのベンチマークを行います。
結果は、合成データセットと現実世界のデータセットの両方でテストの精度と収束速度が向上していることを示しています。
さらに、一例を用いて、分類タスクにおけるニューラル ネットワークのパフォーマンスに対する提案された変更の影響を分析しました。

要約(オリジナル)

The information plane (Tishby et al. arXiv:physics/0004057, Shwartz-Ziv et al. arXiv:1703.00810) has been proposed as an analytical tool for studying the learning dynamics of neural networks. It provides quantitative insight on how the model approaches the learned state by approximating a minimal sufficient statistics. In this paper we extend this tool to the domain of quantum learning models. In a second step, we study how the insight on how much the model compresses the input data (provided by the information plane) can be used to improve a learning algorithm. Specifically, we consider two ways to do so: via a multiplicative regularization of the loss function, or with a compression-gnostic scheduler of the learning rate (for algorithms based on gradient descent). Both ways turn out to be equivalent in our implementation. Finally, we benchmark the proposed learning algorithms on several classification and regression tasks using variational quantum circuits. The results demonstrate an improvement in test accuracy and convergence speed for both synthetic and real-world datasets. Additionally, with one example we analyzed the impact of the proposed modifications on the performances of neural networks in a classification task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google