PASTA: Towards Flexible and Efficient HDR Imaging Via Progressively Aggregated Spatio-Temporal Aligment

要約

Transformer の注目を活用することで、HDR ゴースト除去が大幅に進歩しました。
ただし、セルフアテンションの複雑な性質により、現実的な課題が生じます。既存の最先端の手法では、特に 2K などの高解像度画像の場合、ハイエンドの GPU が必要になったり、推論速度が遅くなったりすることがよくあります。
パフォーマンスと遅延の間の最適なバランスをとることは、依然として重要な懸案事項です。
これに応えて、この研究では、HDR ゴースト除去のための新しい漸進的に集約された時空間アライメント フレームワークである PASTA を紹介します。
私たちのアプローチは、特徴の分解中に階層表現を利用することで有効性と効率性を実現します。
階層構造内で多様な粒度を利用することで、私たちの方法は計算速度を大幅に向上させ、HDR イメージングのワークフローを最適化します。
さらに、ローカルおよびグローバルな注目を集めてスケール内の特徴モデリングを探索し、それらを粗いものから細かいものへと徐々にマージして洗練させます。
実験結果は、ビジュアル品質とパフォーマンス指標の両方において現在の SOTA メソッドよりも PASTA が優れていることを示しており、推論速度も大幅に 3 倍 (x3) 向上しています。

要約(オリジナル)

Leveraging Transformer attention has led to great advancements in HDR deghosting. However, the intricate nature of self-attention introduces practical challenges, as existing state-of-the-art methods often demand high-end GPUs or exhibit slow inference speeds, especially for high-resolution images like 2K. Striking an optimal balance between performance and latency remains a critical concern. In response, this work presents PASTA, a novel Progressively Aggregated Spatio-Temporal Alignment framework for HDR deghosting. Our approach achieves effectiveness and efficiency by harnessing hierarchical representation during feature distanglement. Through the utilization of diverse granularities within the hierarchical structure, our method substantially boosts computational speed and optimizes the HDR imaging workflow. In addition, we explore within-scale feature modeling with local and global attention, gradually merging and refining them in a coarse-to-fine fashion. Experimental results showcase PASTA’s superiority over current SOTA methods in both visual quality and performance metrics, accompanied by a substantial 3-fold (x3) increase in inference speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google