Towards High-Quality Specular Highlight Removal by Leveraging Large-Scale Synthetic Data

要約

この論文は、単一のオブジェクトレベルの画像から鏡面反射光ハイライトを除去することを目的としています。
以前の方法はある程度の進歩を遂げましたが、特に複雑な鏡面ハイライトを持つ実際の画像の場合、そのパフォーマンスは依然としてある程度制限されています。
この目的のために、私たちはそれらに対処するための 3 段階のネットワークを提案します。
具体的には、入力画像が与えられると、まずそれをアルベド、シェーディング、および鏡面反射残差成分に分解して、粗い鏡面反射光のない画像を推定します。
次に、色の歪みなどの視覚的なアーティファクトを軽減するために、粗い結果をさらに調整します。
最後に、洗練された結果のトーンを、入力のトーンとできるだけ一致するように調整します。
さらに、ネットワークのトレーニングと定量的評価を容易にするために、さまざまなオブジェクトと照明条件をカバーするオブジェクトレベルの画像の大規模な合成データセットを提示します。
広範な実験により、私たちのネットワークが目に見えない実際のオブジェクトレベルの画像までうまく一般化でき、複数の背景オブジェクトと複雑な照明を含むシーンレベルの画像に対しても良好な結果を生み出すことができることが示されています。

要約(オリジナル)

This paper aims to remove specular highlights from a single object-level image. Although previous methods have made some progresses, their performance remains somewhat limited, particularly for real images with complex specular highlights. To this end, we propose a three-stage network to address them. Specifically, given an input image, we first decompose it into the albedo, shading, and specular residue components to estimate a coarse specular-free image. Then, we further refine the coarse result to alleviate its visual artifacts such as color distortion. Finally, we adjust the tone of the refined result to match that of the input as closely as possible. In addition, to facilitate network training and quantitative evaluation, we present a large-scale synthetic dataset of object-level images, covering diverse objects and illumination conditions. Extensive experiments illustrate that our network is able to generalize well to unseen real object-level images, and even produce good results for scene-level images with multiple background objects and complex lighting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google