Factorized Diffusion Architectures for Unsupervised Image Generation and Segmentation

要約

私たちは、ノイズ除去拡散モデルとして教師なしの方法でトレーニングされたニューラル ネットワーク アーキテクチャを開発し、画像の生成とセグメント化の両方を同時に学習します。
学習は、トレーニング中に領域に関する注釈や事前知識なしで、完全にノイズ除去拡散目標によって駆動されます。
ニューラル アーキテクチャに組み込まれた計算上のボトルネックにより、ノイズ除去ネットワークが入力を領域に分割し、それらを並行してノイズ除去し、結果を結合することが促進されます。
私たちのトレーニングされたモデルは、合成画像と、その内部予測パーティションの簡単な検査によって、それらの画像のセマンティック セグメンテーションの両方を生成します。
微調整を行わずに、教師なしモデルを、ノイズを介して実際の画像をセグメント化し、その後ノイズを除去するという下流タスクに直接適用します。
実験により、私たちのモデルが複数のデータセットにわたって正確な教師なし画像セグメンテーションと高品質の合成画像生成を達成することが実証されました。

要約(オリジナル)

We develop a neural network architecture which, trained in an unsupervised manner as a denoising diffusion model, simultaneously learns to both generate and segment images. Learning is driven entirely by the denoising diffusion objective, without any annotation or prior knowledge about regions during training. A computational bottleneck, built into the neural architecture, encourages the denoising network to partition an input into regions, denoise them in parallel, and combine the results. Our trained model generates both synthetic images and, by simple examination of its internal predicted partitions, a semantic segmentation of those images. Without any finetuning, we directly apply our unsupervised model to the downstream task of segmenting real images via noising and subsequently denoising them. Experiments demonstrate that our model achieves accurate unsupervised image segmentation and high-quality synthetic image generation across multiple datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google