Optimization-Inspired Cross-Attention Transformer for Compressive Sensing

要約

タイトル：画像圧縮のための最適化に着想を得たクロスアテンショントランスフォーマー

要約：

– 深層ニューラルネットワークと特定の最適化ソルバーを統合することで、深層アンフォールディングネットワーク（DUN）が圧縮センシング（CS）において解釈性が高く、高性能であることが注目されています。
– しかし、既存のDUNは、膨大なパラメータを必要とするため、視覚品質の向上による問題があり、また反復中に特徴情報の損失が発生する問題があります。
– 本論文では、最適化に着想を得たクロスアテンショントランスフォーマー（OCT）モジュールを提案し、これをイテレーションプロセスとして使用することで、軽量なOCTベースのアンフォールディングフレームワーク（OCTUF）を画像CSに適用します。
– 具体的には、ISCAブロックとPGCAブロックから構成される新しいDual-CAサブモジュールを設計しました。ISCAブロックでは、マルチチャネル慣性力を導入し、隣接する反復の間でクロスアテンションメカニズムによるメモリ効果を増加させます。PGCAブロックでは、クロスアテンションブロックを介して慣性力を勾配降下ステップに導入し、強化された情報相互作用を実現します。
– 多数のCS実験により、当社のOCTUFが高性能を発揮し、既存の最新の方法と比較して低い複雑性でトレーニングできることが示されました。コードはhttps://github.com/songjiechong/OCTUFで利用できます。

要約(オリジナル)

By integrating certain optimization solvers with deep neural networks, deep unfolding network (DUN) with good interpretability and high performance has attracted growing attention in compressive sensing (CS). However, existing DUNs often improve the visual quality at the price of a large number of parameters and have the problem of feature information loss during iteration. In this paper, we propose an Optimization-inspired Cross-attention Transformer (OCT) module as an iterative process, leading to a lightweight OCT-based Unfolding Framework (OCTUF) for image CS. Specifically, we design a novel Dual Cross Attention (Dual-CA) sub-module, which consists of an Inertia-Supplied Cross Attention (ISCA) block and a Projection-Guided Cross Attention (PGCA) block. ISCA block introduces multi-channel inertia forces and increases the memory effect by a cross attention mechanism between adjacent iterations. And, PGCA block achieves an enhanced information interaction, which introduces the inertia force into the gradient descent step through a cross attention block. Extensive CS experiments manifest that our OCTUF achieves superior performance compared to state-of-the-art methods while training lower complexity. Codes are available at https://github.com/songjiechong/OCTUF.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI