From Posterior Sampling to Meaningful Diversity in Image Restoration

要約

画像復元の問題は、劣化した各画像を無限に多くの有効な方法で復元できるという意味で、通常は不適切な問題となります。
これに対応するために、多くの研究では、劣化した入力を与えられた自然画像の事後分布からランダムにサンプリングを試みることにより、多様な出力セットを生成します。
ここで、事後分布の裾が重いため、この戦略の実際的な価値は一般に限られていると主張します。
たとえば、画像内の空の欠落領域を修復することを考えてみましょう。
欠落領域には雲以外の物体が含まれていない可能性が高いため、事後サンプルのセットは完全に (実質的に同一の) 空の完成によって支配されます。
ただし、おそらく、飛行船、鳥、気球などのいくつかの代替ソリューションとともに、晴れた空の完成を 1 つだけユーザーに提示する方が、一連の可能性の概要をよりよく示すことができます。
この論文では、意味のある多様な画像修復の研究を開始します。
私たちは、意味的に意味のある多様性を生み出すために、さまざまな画像復元方法と組み合わせることができるいくつかの後処理アプローチを検討します。
さらに、無視できる計算オーバーヘッドのみを発生させながら、拡散ベースの画像復元方法で有意義に多様な出力を生成できるようにするための実用的なアプローチを提案します。
私たちは、提案された手法を分析するために広範なユーザー調査を実施し、出力間の類似性を低減する戦略が事後サンプリングよりも大幅に有利であることを発見しました。
コードと例は https://noa-cohen.github.io/MeaningfulDiversityInIR で入手できます。

要約(オリジナル)

Image restoration problems are typically ill-posed in the sense that each degraded image can be restored in infinitely many valid ways. To accommodate this, many works generate a diverse set of outputs by attempting to randomly sample from the posterior distribution of natural images given the degraded input. Here we argue that this strategy is commonly of limited practical value because of the heavy tail of the posterior distribution. Consider for example inpainting a missing region of the sky in an image. Since there is a high probability that the missing region contains no object but clouds, any set of samples from the posterior would be entirely dominated by (practically identical) completions of sky. However, arguably, presenting users with only one clear sky completion, along with several alternative solutions such as airships, birds, and balloons, would better outline the set of possibilities. In this paper, we initiate the study of meaningfully diverse image restoration. We explore several post-processing approaches that can be combined with any diverse image restoration method to yield semantically meaningful diversity. Moreover, we propose a practical approach for allowing diffusion based image restoration methods to generate meaningfully diverse outputs, while incurring only negligent computational overhead. We conduct extensive user studies to analyze the proposed techniques, and find the strategy of reducing similarity between outputs to be significantly favorable over posterior sampling. Code and examples are available at https://noa-cohen.github.io/MeaningfulDiversityInIR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google