Towards Explaining Hypercomplex Neural Networks

要約

超複雑ニューラル ネットワークは、深層学習コミュニティでますます関心を集めています。
超複雑モデルに向けられた注目は、純粋に理論的および数学的特性から、従来のネットワークに対する軽量モデルの実用的な利点、およびグローバルとローカルの両方の関係を捉えるための独自の特性に至るまで、いくつかの側面から生じています。
特に、これらのアーキテクチャの一分野であるパラメータ化ハイパーコンプレックス ニューラル ネットワーク (PHNN) も、多数のアプリケーション ドメインにわたる汎用性により人気を集めています。
それにもかかわらず、その複雑さを説明または解釈する試みはほとんど行われていません。
この論文では、ポストホック手法を必要としない、本質的に解釈可能な PHNN とクォータニオンのようなネットワークを提案します。
これを達成するために、パラメータ化された超複雑ドメイン内でコサイン類似度変換のタイプを定義します。
この PHB-cos 変換は、関連する入力特徴との重みの調整を誘導し、モデルを単一の線形変換に縮小して、直接解釈可能にすることができます。
この研究では、ニューラル モデルのこのユニークな分野がどのように動作するかについての洞察を導き始めます。
超複雑ネットワークでは、オブジェクト自体の形状に加えて、対象となる主なオブジェクトの周囲の形状に集中する傾向があることが観察されています。
さまざまな層の単一ニューロンを調査し、それらを実数値ネットワークの学習方法と比較する徹底的な分析を提供します。
この論文のコードは https://github.com/ispamm/HxAI で入手できます。

要約(オリジナル)

Hypercomplex neural networks are gaining increasing interest in the deep learning community. The attention directed towards hypercomplex models originates from several aspects, spanning from purely theoretical and mathematical characteristics to the practical advantage of lightweight models over conventional networks, and their unique properties to capture both global and local relations. In particular, a branch of these architectures, parameterized hypercomplex neural networks (PHNNs), has also gained popularity due to their versatility across a multitude of application domains. Nonetheless, only few attempts have been made to explain or interpret their intricacies. In this paper, we propose inherently interpretable PHNNs and quaternion-like networks, thus without the need for any post-hoc method. To achieve this, we define a type of cosine-similarity transform within the parameterized hypercomplex domain. This PHB-cos transform induces weight alignment with relevant input features and allows to reduce the model into a single linear transform, rendering it directly interpretable. In this work, we start to draw insights into how this unique branch of neural models operates. We observe that hypercomplex networks exhibit a tendency to concentrate on the shape around the main object of interest, in addition to the shape of the object itself. We provide a thorough analysis, studying single neurons of different layers and comparing them against how real-valued networks learn. The code of the paper is available at https://github.com/ispamm/HxAI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google