Exploring Diffusion with Test-Time Training on Efficient Image Restoration

要約

画像の修復は、効果のない特徴融合、計算ボトルネック、非効率的な拡散プロセスなどの課題に直面しています。
これらに対処するために、効率的な拡散を備えたテスト時間トレーニング（TTT）を統一する新しいフレームワークであるdiffrwkvirを提案します。
私たちのアプローチでは、3つの重要な革新を紹介します。（1）OMNIスケールの2D状態進化は、RWKVの位置依存パラメーター化を階層的な多方向2Dスキャンに拡張し、線形複雑さO（L）とのグローバルな文脈的認識を可能にします。
（2）チャンク最適化フラッシュ処理は、連続チャンク処理（O（LCD）の複雑さ）を介してチャンク内並列性を3.2倍加速し、連続的な依存性と計算オーバーヘッドを減らします。
（3）事前に誘導効率の高い拡散抽出は、5〜20ステップでのみコンパクトな画像事前表現（IPR）を抽出し、除去の計算非効率性を解く間、Diffirよりも45％のトレーニング/推論が45％速いことを証明します。
スーパー解像度およびインパインティングベンチマーク（SET5、SET14、BSD100、urban100、Places365）で評価され、diffrwkvirは、PSNR、SSIM、LPIPS、および効率的なメトリックのスウィニール、帽子、およびマンベア/V2を上回ります。
私たちの方法は、最適化されたハードウェア利用を備えた適応的で高効率の画像修復のための新しいパラダイムを確立します。

要約(オリジナル)

Image restoration faces challenges including ineffective feature fusion, computational bottlenecks and inefficient diffusion processes. To address these, we propose DiffRWKVIR, a novel framework unifying Test-Time Training (TTT) with efficient diffusion. Our approach introduces three key innovations: (1) Omni-Scale 2D State Evolution extends RWKV’s location-dependent parameterization to hierarchical multi-directional 2D scanning, enabling global contextual awareness with linear complexity O(L); (2) Chunk-Optimized Flash Processing accelerates intra-chunk parallelism by 3.2x via contiguous chunk processing (O(LCd) complexity), reducing sequential dependencies and computational overhead; (3) Prior-Guided Efficient Diffusion extracts a compact Image Prior Representation (IPR) in only 5-20 steps, proving 45% faster training/inference than DiffIR while solving computational inefficiency in denoising. Evaluated across super-resolution and inpainting benchmarks (Set5, Set14, BSD100, Urban100, Places365), DiffRWKVIR outperforms SwinIR, HAT, and MambaIR/v2 in PSNR, SSIM, LPIPS, and efficiency metrics. Our method establishes a new paradigm for adaptive, high-efficiency image restoration with optimized hardware utilization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google