Poincaré ResNet

要約

この論文では、双曲空間のポアンカレ球モデル上で完全に動作するエンドツーエンドの残差ネットワークを紹介します。
双曲学習は最近、視覚的な理解に大きな可能性を示していますが、現在は深層ネットワークの最後から 2 番目の層でのみ実行されます。
すべての視覚表現は依然として標準のユークリッド ネットワークを通じて学習されます。
この論文では、視覚データの双曲線表現をピクセルレベルから直接学習する方法を調査します。
私たちは、有名な残差ネットワークの双曲線対応物である Poincar\’e ResNet を提案します。これは、Poincar\’e 2D 畳み込みから始まり、Poincar\’e 残差接続までです。
私たちは、畳み込みネットワークを完全に双曲空間で訓練するための 3 つの障害を特定し、それぞれに対する解決策を提案します。 (i) 現在の双曲ネットワークの初期化は原点まで崩壊し、より深いネットワークでの適用性が制限されます。
私たちは、多くの層にわたって規範を維持するアイデンティティベースの初期化を提供します。
(ii) 残差ネットワークはバッチ正規化に大きく依存しており、これには高価な双曲空間でのフラシェ平均計算が伴います。
より高速で同様に効果的な代替手段として、ポアンカレの中間点バッチ正規化を紹介します。
(iii) ポアンカレ層の多くの中間演算により、最終的には深層学習ライブラリの計算グラフが爆発し、深層双曲ネットワークでのトレーニング能力が制限されることがわかりました。
管理可能な計算グラフを維持するために、コア双曲線演算の手動による後方導出を提供します。

要約(オリジナル)

This paper introduces an end-to-end residual network that operates entirely on the Poincar\’e ball model of hyperbolic space. Hyperbolic learning has recently shown great potential for visual understanding, but is currently only performed in the penultimate layer(s) of deep networks. All visual representations are still learned through standard Euclidean networks. In this paper we investigate how to learn hyperbolic representations of visual data directly from the pixel-level. We propose Poincar\’e ResNet, a hyperbolic counterpart of the celebrated residual network, starting from Poincar\’e 2D convolutions up to Poincar\’e residual connections. We identify three roadblocks for training convolutional networks entirely in hyperbolic space and propose a solution for each: (i) Current hyperbolic network initializations collapse to the origin, limiting their applicability in deeper networks. We provide an identity-based initialization that preserves norms over many layers. (ii) Residual networks rely heavily on batch normalization, which comes with expensive Fr\’echet mean calculations in hyperbolic space. We introduce Poincar\’e midpoint batch normalization as a faster and equally effective alternative. (iii) Due to the many intermediate operations in Poincar\’e layers, we lastly find that the computation graphs of deep learning libraries blow up, limiting our ability to train on deep hyperbolic networks. We provide manual backward derivations of core hyperbolic operations to maintain manageable computation graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google