SpaceJAM: a Lightweight and Regularization-free Method for Fast Joint Alignment of Images

要約

画像のジョイント アライメント (JA) という教師なしタスクは、高度な複雑さ、幾何学的歪み、貧弱な局所的または全体的な最適化への収束などの課題に悩まされています。
最近、ビジョン トランスフォーマー (ViT) が JA に貴重な機能を提供しましたが、これらの問題に完全に対処するには至っていません。
その結果、研究者は高価なモデルや多数の正則化項に依存することが多く、その結果、トレーニング時間が長くなり、ハイパーパラメーターの調整が困難になります。
JA タスクに効率的かつ簡単に対処する新しいアプローチである空間ジョイント アライメント モデル (SpaceJAM) を紹介します。
SpaceJAM は、トレーニング可能なパラメータが 16K のみのコンパクトなアーキテクチャを活用しており、正則化やアトラスのメンテナンスを必要とせずに独自に動作します。
SPair-71K および CUB データセットの評価では、SpaceJAM が既存の手法のアライメント機能と同等であると同時に、計算​​需要を大幅に削減し、少なくとも 10 倍の高速化を達成していることが実証されています。
SpaceJAM は、迅速かつ効果的な画像調整の新しい標準を設定し、プロセスをよりアクセスしやすく効率的にします。
コードは https://bgu-cs-vil.github.io/SpaceJAM/ で入手できます。

要約(オリジナル)

The unsupervised task of Joint Alignment (JA) of images is beset by challenges such as high complexity, geometric distortions, and convergence to poor local or even global optima. Although Vision Transformers (ViT) have recently provided valuable features for JA, they fall short of fully addressing these issues. Consequently, researchers frequently depend on expensive models and numerous regularization terms, resulting in long training times and challenging hyperparameter tuning. We introduce the Spatial Joint Alignment Model (SpaceJAM), a novel approach that addresses the JA task with efficiency and simplicity. SpaceJAM leverages a compact architecture with only 16K trainable parameters and uniquely operates without the need for regularization or atlas maintenance. Evaluations on SPair-71K and CUB datasets demonstrate that SpaceJAM matches the alignment capabilities of existing methods while significantly reducing computational demands and achieving at least a 10x speedup. SpaceJAM sets a new standard for rapid and effective image alignment, making the process more accessible and efficient. Our code is available at: https://bgu-cs-vil.github.io/SpaceJAM/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google