PHYDI: Initializing Parameterized Hypercomplex Neural Networks as Identity Functions

要約

超複雑な代数システムに基づくニューラル モデルは、コンピューター ビジョンから自然言語処理に至るまで、数多くのアプリケーション向けに成長し、増殖しています。
その導入と並行して、パラメータ化された超複雑ニューラル ネットワーク (PHNN) のサイズは増大していますが、大規模な収束を制御する技術はこれまでのところ採用されていません。
この論文では、PHNN の収束を研究し、さまざまなスケールでの収束を改善する方法であるパラメーター化超複雑アイデンティティ初期化 (PHYDI) を提案します。これにより、層の数が増加したときにより堅牢なパフォーマンスが得られ、同時により少ない反復で同じパフォーマンスに達します。
。
このアプローチの有効性を、さまざまなベンチマークと、ResNets ベースおよび Transformer ベースのアーキテクチャを備えた一般的な PHNN で示します。
コードは https://github.com/ispamm/PHYDI で入手できます。

要約(オリジナル)

Neural models based on hypercomplex algebra systems are growing and prolificating for a plethora of applications, ranging from computer vision to natural language processing. Hand in hand with their adoption, parameterized hypercomplex neural networks (PHNNs) are growing in size and no techniques have been adopted so far to control their convergence at a large scale. In this paper, we study PHNNs convergence and propose parameterized hypercomplex identity initialization (PHYDI), a method to improve their convergence at different scales, leading to more robust performance when the number of layers scales up, while also reaching the same performance with fewer iterations. We show the effectiveness of this approach in different benchmarks and with common PHNNs with ResNets- and Transformer-based architecture. The code is available at https://github.com/ispamm/PHYDI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google