On the Symmetries of Deep Learning Models and their Internal Representations

要約

対称性は、広範囲の複雑なシステムの調査における基本的なツールです。
機械学習では、モデルとデータの両方で対称性が調査されています。
この論文では、モデルのファミリのアーキテクチャから生じる対称性を、そのファミリのデータの内部表現の対称性と結び付けようとします。
これは、モデルの絡み合いグループと呼ばれる一連の基本的な対称グループを計算することによって行われます。
同じアーキテクチャを持つモデル間で隠れた状態間の類似性を調査するさまざまな実験を通じて、絡み合ったグループをモデルの内部データ表現に結び付けます。
私たちの仕事は、ネットワークの対称性がそのネットワークのデータ表現の対称性に伝播されることを示唆しており、アーキテクチャが学習および予測プロセスにどのように影響するかについての理解を深めることができます。
最後に、ReLU ネットワークの場合、絡み合いグループは、任意の線形結合ではなく、隠れ層の活性化ベースでモデルの解釈可能性の探索を集中させるという一般的な慣行を正当化する可能性があると推測します。

要約(オリジナル)

Symmetry is a fundamental tool in the exploration of a broad range of complex systems. In machine learning symmetry has been explored in both models and data. In this paper we seek to connect the symmetries arising from the architecture of a family of models with the symmetries of that family’s internal representation of data. We do this by calculating a set of fundamental symmetry groups, which we call the intertwiner groups of the model. We connect intertwiner groups to a model’s internal representations of data through a range of experiments that probe similarities between hidden states across models with the same architecture. Our work suggests that the symmetries of a network are propagated into the symmetries in that network’s representation of data, providing us with a better understanding of how architecture affects the learning and prediction process. Finally, we speculate that for ReLU networks, the intertwiner groups may provide a justification for the common practice of concentrating model interpretability exploration on the activation basis in hidden layers rather than arbitrary linear combinations thereof.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google