On the Versatile Uses of Partial Distance Correlation in Deep Learning

要約

ニューラル ネットワーク モデルの機能的動作を比較することは、トレーニング中またはトレーニング後に経時的に単一のネットワークであろうと、2 つ (またはそれ以上のネットワーク) であろうと、それらが学習しているもの (および学習していないもの) を理解する上で不可欠なステップです。
正則化または効率改善のための戦略を特定します。
ビジョン トランスフォーマーと CNN の比較など、最近の進歩にもかかわらず、特に異なるネットワーク間での機能の体系的な比較は依然として困難であり、多くの場合、レイヤーごとに実行されます。
正準相関分析 (CCA) などのアプローチは原則として適用できますが、これまでのところあまり使用されていません。
この論文では、異なる次元の特徴空間間の相関を評価するために設計された、距離相関 (およびその部分的なバリアント) と呼ばれる統計からの (あまり知られていない) を再検討します。
大規模モデルの展開を実行するために必要な手順について説明します。
もう 1 つは、絡み合っていない表現を学習し、敵対的な攻撃に対して直接的により堅牢になる多様なモデルを最適化することです。
私たちの実験は、そのような分析で直面する一般的な問題のいくつかを回避する、多くの利点を持つ多用途の正則化 (または制約) を示唆しています。
コードは https://github.com/zhenxingjian/Partial_Distance_Correlation にあります。

要約(オリジナル)

Comparing the functional behavior of neural network models, whether it is a single network over time or two (or more networks) during or post-training, is an essential step in understanding what they are learning (and what they are not), and for identifying strategies for regularization or efficiency improvements. Despite recent progress, e.g., comparing vision transformers to CNNs, systematic comparison of function, especially across different networks, remains difficult and is often carried out layer by layer. Approaches such as canonical correlation analysis (CCA) are applicable in principle, but have been sparingly used so far. In this paper, we revisit a (less widely known) from statistics, called distance correlation (and its partial variant), designed to evaluate correlation between feature spaces of different dimensions. We describe the steps necessary to carry out its deployment for large scale models — this opens the door to a surprising array of applications ranging from conditioning one deep model w.r.t. another, learning disentangled representations as well as optimizing diverse models that would directly be more robust to adversarial attacks. Our experiments suggest a versatile regularizer (or constraint) with many advantages, which avoids some of the common difficulties one faces in such analyses. Code is at https://github.com/zhenxingjian/Partial_Distance_Correlation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google