Leveraging Multimodal Diffusion Models to Accelerate Imaging with Side Information

要約

拡散モデルは、逆問題を解決するための表現力豊かな事前分布として驚異的な成功を収めてきましたが、自然画像を超えてより構造化された科学領域への拡張には依然として限界があります。
材料科学への応用を動機として、私たちは、はるかに安価に入手できる補助モダリティからの副次的な情報を活用することにより、対象となる高価な画像モダリティに必要な測定数を削減することを目指しています。
フォワード モデルの微分不可能でブラック ボックスの性質に対処するために、結合モダリティにわたってマルチモーダル拡散モデルをトレーニングし、ブラック ボックス フォワード モデルの逆問題を単純な線形修復問題に変換するフレームワークを提案します。
我々は、材料画像データに対する拡散モデルのトレーニングの実現可能性を数値的に実証し、我々のアプローチが利用可能な副情報を活用することで優れた画像再構成を実現し、高価な顕微鏡モダリティから必要なデータ量が大幅に減少することを示します。

要約(オリジナル)

Diffusion models have found phenomenal success as expressive priors for solving inverse problems, but their extension beyond natural images to more structured scientific domains remains limited. Motivated by applications in materials science, we aim to reduce the number of measurements required from an expensive imaging modality of interest, by leveraging side information from an auxiliary modality that is much cheaper to obtain. To deal with the non-differentiable and black-box nature of the forward model, we propose a framework to train a multimodal diffusion model over the joint modalities, turning inverse problems with black-box forward models into simple linear inpainting problems. Numerically, we demonstrate the feasibility of training diffusion models over materials imagery data, and show that our approach achieves superior image reconstruction by leveraging the available side information, requiring significantly less amount of data from the expensive microscopy modality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google