DiffMatch: Diffusion Model for Dense Matching

要約

ペア画像間の密な対応を確立する目的は、データ項と前の項の 2 つの項で構成されます。
従来の手法は、定式化が難しい手作業で設計された事前項の定義に焦点を当てていましたが、最近のアプローチでは、モデル自体に最適な事前項を学習する能力があると仮定して、事前項を明示的にモデル化することなく、ディープ ニューラル ネットワークを使用してデータ項を学習することに重点が置かれています。
大規模なデータセットから。
パフォーマンスの向上は明らかですが、テクスチャのない領域、反復パターン、大きな変位など、マッチングに固有のあいまいさには対処できないことがよくあります。
これに対処するために、データと事前項の両方を明示的にモデル化するように設計された新しい条件付き拡散ベースのフレームワークである DiffMatch を提案します。
これまでのアプローチとは異なり、これは条件付きノイズ除去拡散モデルを活用することで実現されます。
DiffMatch は、条件付きノイズ除去拡散モジュールとコスト注入モジュールの 2 つの主要コンポーネントで構成されます。
段階別のトレーニング戦略によりトレーニング プロセスを安定させ、メモリ使用量を削減します。
さらに、パフォーマンスを向上させるために、正確なマッチング フィールドへのより適切なパスを見つける推論手法を導入します。
私たちの実験結果は、既存のアプローチに比べて私たちの方法のパフォーマンスが大幅に向上していることを示しており、アブレーション研究は私たちの設計選択と各コンポーネントの有効性を検証しています。
プロジェクトページは https://ku-cvlab.github.io/DiffMatch/ から入手できます。

要約(オリジナル)

The objective for establishing dense correspondence between paired images consists of two terms: a data term and a prior term. While conventional techniques focused on defining hand-designed prior terms, which are difficult to formulate, recent approaches have focused on learning the data term with deep neural networks without explicitly modeling the prior, assuming that the model itself has the capacity to learn an optimal prior from a large-scale dataset. The performance improvement was obvious, however, they often fail to address inherent ambiguities of matching, such as textureless regions, repetitive patterns, and large displacements. To address this, we propose DiffMatch, a novel conditional diffusion-based framework designed to explicitly model both the data and prior terms. Unlike previous approaches, this is accomplished by leveraging a conditional denoising diffusion model. DiffMatch consists of two main components: conditional denoising diffusion module and cost injection module. We stabilize the training process and reduce memory usage with a stage-wise training strategy. Furthermore, to boost performance, we introduce an inference technique that finds a better path to the accurate matching field. Our experimental results demonstrate significant performance improvements of our method over existing approaches, and the ablation studies validate our design choices along with the effectiveness of each component. Project page is available at https://ku-cvlab.github.io/DiffMatch/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google