U-Nets as Belief Propagation: Efficient Classification, Denoising, and Diffusion in Generative Hierarchical Models

要約

U-Net は、コンピュータ ビジョンで最も広く使用されているアーキテクチャの 1 つであり、画像のセグメンテーション、ノイズ除去、拡散モデリングなどのアプリケーションで優れたパフォーマンスを発揮することで知られています。
ただし、U-Net アーキテクチャ設計の理論的な説明はまだ完全には確立されていません。
この論文では、言語と画像の両方のドメインで広く利用されているツリー構造のグラフィカル モデルである特定の生成階層モデルを研究することにより、U-Net アーキテクチャの新しい解釈を紹介します。
エンコーダ – デコーダ構造、ロング スキップ接続、プーリング層とアップサンプリング層を使用して、U-Net がそのような生成階層モデルで信念伝播ノイズ除去アルゴリズムをどのように自然に実装し、それによってノイズ除去関数を効率的に近似できるかを示します。
これにより、これらのモデル内の U-Net を使用してノイズ除去関数を学習するための効率的なサンプルの複雑さが得られます。
さらに、生成階層モデルにおける拡散モデルに対するこれらの発見のより広範な影響についても説明します。
また、畳み込みニューラル ネットワーク (ConvNet) の従来のアーキテクチャが、これらのモデル内の分類タスクに理想的に適していることも示します。
これにより、ConvNet と U-Net の役割の統一されたビューが提供され、言語および画像ドメインにわたる複雑なデータ分布をモデル化する際の生成階層モデルの多用途性が強調されます。

要約(オリジナル)

U-Nets are among the most widely used architectures in computer vision, renowned for their exceptional performance in applications such as image segmentation, denoising, and diffusion modeling. However, a theoretical explanation of the U-Net architecture design has not yet been fully established. This paper introduces a novel interpretation of the U-Net architecture by studying certain generative hierarchical models, which are tree-structured graphical models extensively utilized in both language and image domains. With their encoder-decoder structure, long skip connections, and pooling and up-sampling layers, we demonstrate how U-Nets can naturally implement the belief propagation denoising algorithm in such generative hierarchical models, thereby efficiently approximating the denoising functions. This leads to an efficient sample complexity bound for learning the denoising function using U-Nets within these models. Additionally, we discuss the broader implications of these findings for diffusion models in generative hierarchical models. We also demonstrate that the conventional architecture of convolutional neural networks (ConvNets) is ideally suited for classification tasks within these models. This offers a unified view of the roles of ConvNets and U-Nets, highlighting the versatility of generative hierarchical models in modeling complex data distributions across language and image domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google