Flopping for FLOPs: Leveraging equivariance for computational efficiency

要約

幾何学的不変性をニューラルネットワークに組み込むと、パラメーター効率が向上しますが、通常は計算コストが増加します。
このペーパーでは、対称性を維持しながら、パラメーターごとに同等の数のフローティングポイント操作（FLOPS）を標準的な非等変量ネットワークに維持しながら、対称性を維持する新しい等量ニューラルネットワークを紹介します。
多くのコンピュータービジョンタスクで一般的な水平ミラーリング（フロップ）不変性に焦点を当てています。
主なアイデアは、ミラー対称およびミラー対称の特徴、つまりフロッピンググループのいらいらの点で特徴スペースをパラメータ化することです。
これにより、線形層がブロック対角になるように分解し、フロップの半分が必要です。
私たちのアプローチは、フロップと壁1時間の両方の時間を短縮し、効率的でスケーラブルな対称性を意識するアーキテクチャのための実用的なソリューションを提供します。

要約(オリジナル)

Incorporating geometric invariance into neural networks enhances parameter efficiency but typically increases computational costs. This paper introduces new equivariant neural networks that preserve symmetry while maintaining a comparable number of floating-point operations (FLOPs) per parameter to standard non-equivariant networks. We focus on horizontal mirroring (flopping) invariance, common in many computer vision tasks. The main idea is to parametrize the feature spaces in terms of mirror-symmetric and mirror-antisymmetric features, i.e., irreps of the flopping group. This decomposes the linear layers to be block-diagonal, requiring half the number of FLOPs. Our approach reduces both FLOPs and wall-clock time, providing a practical solution for efficient, scalable symmetry-aware architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google