Efficient Neural Generation of 4K Masks for Homogeneous Diffusion Inpainting

要約

適切に選択されたデータを使用すると、均一拡散修復により、まばらなデータから高品質の画像を再構築できます。
サイズ 3840 x 2160 の 4K カラー画像はすでにリアルタイムで修復できますが、画像圧縮などのアプリケーション用に既知のデータを最適化することは依然として困難です。広く使用されている確率的戦略では、単一の 4K 画像に数日かかることがあります。
最近、このいわゆるマスク最適化問題に対する最初のニューラル アプローチは、小さな画像に対して高速で高品質を提供しました。
ニューラル修復サロゲートの助けを借りて、マスク生成ネットワークをトレーニングします。
ただし、これらのマスク ネットワークは、トレーニングされた解像度とマスク密度のマスクしか出力できません。
これらの問題を解決し、neuroexplicit の粗いものから細かいものへの戦略を通じて、高解像度画像のマスク最適化を可能にします。
さらに、数値修復ソルバーをネットワークに直接含めることで、マスク ネットワークのトレーニングと解釈可能性を改善します。
これにより、4K 画像用のマスクを約 0.6 秒で生成でき、実際に関連する密度で確率的手法の品質を上回ります。
一般的な既存のアプローチと比較すると、これは最大 4 桁の加速です。

要約(オリジナル)

With well-selected data, homogeneous diffusion inpainting can reconstruct images from sparse data with high quality. While 4K colour images of size 3840 x 2160 can already be inpainted in real time, optimising the known data for applications like image compression remains challenging: Widely used stochastic strategies can take days for a single 4K image. Recently, a first neural approach for this so-called mask optimisation problem offered high speed and good quality for small images. It trains a mask generation network with the help of a neural inpainting surrogate. However, these mask networks can only output masks for the resolution and mask density they were trained for. We solve these problems and enable mask optimisation for high-resolution images through a neuroexplicit coarse-to-fine strategy. Additionally, we improve the training and interpretability of mask networks by including a numerical inpainting solver directly into the network. This allows to generate masks for 4K images in around 0.6 seconds while exceeding the quality of stochastic methods on practically relevant densities. Compared to popular existing approaches, this is an acceleration of up to four orders of magnitude.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google