Neural Shrödinger Bridge Matching for Pansharpening

要約

パンシャープニングの分野における最近の拡散確率モデル (DPM) は徐々に注目を集めており、最先端 (SOTA) のパフォーマンスを実現しています。
この論文では、逆問題としてパンシャープンのタスクに DPM を直接適用する場合の欠点を特定します。1) ガウス ノイズから直接サンプリングを開始すると、事前の低解像度マルチスペクトル画像 (LRMS) が無視されます。
2) サンプリング効率が低いと、多くの場合、より多くのサンプリング ステップが必要になります。
まず、パンシャープンを逆問題の確率微分方程式 (SDE) 形式に再定式化します。
これに基づいて、両方の問題に対処する Schr\’odinger ブリッジ マッチング手法を提案します。
提案された SB マッチングに合わせて調整された効率的なディープ ニューラル ネットワーク アーキテクチャを設計します。
確立された DL 回帰ベースのフレームワークや最近の DPM フレームワークと比較して、私たちの方法は、より少ないサンプリング ステップで SOTA パフォーマンスを実証します。
さらに、SB マッチングと SDE および常微分方程式 (ODE) に基づく他の手法との関係、および最適な転送との関係についても説明します。
コードが利用可能になります。

要約(オリジナル)

Recent diffusion probabilistic models (DPM) in the field of pansharpening have been gradually gaining attention and have achieved state-of-the-art (SOTA) performance. In this paper, we identify shortcomings in directly applying DPMs to the task of pansharpening as an inverse problem: 1) initiating sampling directly from Gaussian noise neglects the low-resolution multispectral image (LRMS) as a prior; 2) low sampling efficiency often necessitates a higher number of sampling steps. We first reformulate pansharpening into the stochastic differential equation (SDE) form of an inverse problem. Building upon this, we propose a Schr\’odinger bridge matching method that addresses both issues. We design an efficient deep neural network architecture tailored for the proposed SB matching. In comparison to the well-established DL-regressive-based framework and the recent DPM framework, our method demonstrates SOTA performance with fewer sampling steps. Moreover, we discuss the relationship between SB matching and other methods based on SDEs and ordinary differential equations (ODEs), as well as its connection with optimal transport. Code will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google