Tackling Structural Hallucination in Image Translation with Local Diffusion

要約

拡散モデルの最近の開発により、条件付き画像の生成は進歩しましたが、医療画像内の目に見えない腫瘍などの分布外 (OOD) 画像の再構築には苦労しており、「幻覚」を引き起こし、誤診の危険性があります。
我々は、このような幻覚は条件付き画像の局所的な OOD 領域に起因すると仮説を立てます。
OOD 領域を分割し、個別の画像生成を実行すると、いくつかのアプリケーションで幻覚が軽減されることを確認します。
これから、複数の局所拡散プロセスで幻覚を軽減するトレーニング不要の拡散フレームワークを提案します。
私たちのアプローチには、OOD 推定とそれに続く 2 つのモジュールが含まれます。「分岐」モジュールは OOD 領域内外の両方でローカルに生成し、「融合」モジュールはこれらの予測を 1 つに統合します。
私たちの評価では、私たちの方法がベースラインモデルよりも量的および質的に幻覚を軽減し、現実世界の医療画像データセットと自然画像データセットで誤診をそれぞれ40%と25%減少させることが示されています。
また、さまざまな事前トレーニング済み拡散モデルとの互換性も示します。

要約(オリジナル)

Recent developments in diffusion models have advanced conditioned image generation, yet they struggle with reconstructing out-of-distribution (OOD) images, such as unseen tumors in medical images, causing ‘image hallucination’ and risking misdiagnosis. We hypothesize such hallucinations result from local OOD regions in the conditional images. We verify that partitioning the OOD region and conducting separate image generations alleviates hallucinations in several applications. From this, we propose a training-free diffusion framework that reduces hallucination with multiple Local Diffusion processes. Our approach involves OOD estimation followed by two modules: a ‘branching’ module generates locally both within and outside OOD regions, and a ‘fusion’ module integrates these predictions into one. Our evaluation shows our method mitigates hallucination over baseline models quantitatively and qualitatively, reducing misdiagnosis by 40% and 25% in the real-world medical and natural image datasets, respectively. It also demonstrates compatibility with various pre-trained diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google