Hilbert Distillation for Cross-Dimensionality Networks

要約

3次元畳み込みニューラルネットワークは、映像や医療画像などのボリュームデータの処理に優れた性能を発揮することが明らかになっています。しかし、3次元ネットワークを活用した競争力のある性能は、2次元ネットワークのそれを遥かに超える膨大な計算コストをもたらす。本論文では、3次元ネットワークの知識を容易に利用し、2次元ネットワークの性能を向上させる、新しいヒルベルト曲線に基づく異次元蒸留法を提案する。提案するヒルベルト蒸留法は、高次元(>=2)表現を一次元連続空間充填曲線にマッピングするヒルベルト曲線を介して、構造情報を保持するものである。蒸留された2次元ネットワークは、次元的に異質な3次元特徴から変換された曲線によって教師されるため、よく訓練された高次元表現に埋め込まれた構造情報を学習するという意味で、2次元ネットワークに有益なビューが与えられる。さらに、活性化特徴領域ではヒルベルト曲線の歩幅を動的に短くし、文脈特徴領域では歩幅を長くして、2次元ネットワークに活性化特徴からの学習により注意を向けさせる可変長ヒルベルト蒸留法（VHD法）を提案する。提案アルゴリズムは、2つの分類タスクにおいて、異次元蒸留に適応した現在の最先端蒸留技術を凌駕する性能を示した。さらに、提案手法による蒸留された2次元ネットワークは、元の3次元ネットワークと競合する性能を達成し、軽量な蒸留2次元ネットワークが実世界で煩雑な3次元ネットワークの代替となる可能性があることを示す。

要約(オリジナル)

3D convolutional neural networks have revealed superior performance in processing volumetric data such as video and medical imaging. However, the competitive performance by leveraging 3D networks results in huge computational costs, which are far beyond that of 2D networks. In this paper, we propose a novel Hilbert curve-based cross-dimensionality distillation approach that facilitates the knowledge of 3D networks to improve the performance of 2D networks. The proposed Hilbert Distillation (HD) method preserves the structural information via the Hilbert curve, which maps high-dimensional (>=2) representations to one-dimensional continuous space-filling curves. Since the distilled 2D networks are supervised by the curves converted from dimensionally heterogeneous 3D features, the 2D networks are given an informative view in terms of learning structural information embedded in well-trained high-dimensional representations. We further propose a Variable-length Hilbert Distillation (VHD) method to dynamically shorten the walking stride of the Hilbert curve in activation feature areas and lengthen the stride in context feature areas, forcing the 2D networks to pay more attention to learning from activation features. The proposed algorithm outperforms the current state-of-the-art distillation techniques adapted to cross-dimensionality distillation on two classification tasks. Moreover, the distilled 2D networks by the proposed method achieve competitive performance with the original 3D networks, indicating the lightweight distilled 2D networks could potentially be the substitution of cumbersome 3D networks in the real-world scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL