UMat: Uncertainty-Aware Single Image High Resolution Material Capture

要約

私たちは、マイクロジオメトリの外観を主な手がかりとして使用して、マテリアルの単一の拡散画像から法線、鏡面反射性、および粗さを回復する学習ベースの方法を提案します。
単一の画像を処理する以前のメソッドは、アーティファクトのある滑らかすぎる出力を生成したり、限られた解像度で動作したり、一般化の余地がほとんどなくクラスごとに 1 つのモデルをトレーニングしたりする傾向がありました。
単一の画像を処理する以前のメソッドは、アーティファクトのある滑らかすぎる出力を生成したり、限られた解像度で動作したり、一般化の余地がほとんどなくクラスごとに 1 つのモデルをトレーニングしたりする傾向がありました。
対照的に、この研究では、注意を伴う生成ネットワークと U-Net 識別子を活用する新しいキャプチャ アプローチを提案します。これは、計算の複雑さを軽減しながらグローバル情報を統合する優れたパフォーマンスを示します。
デジタル化された繊維材料の実際のデータセットを使用してメソッドのパフォーマンスを紹介し、汎用フラットベッド スキャナーがメソッドへの入力として必要なタイプの拡散照明を生成できることを示します。
さらに、問題が不適切である可能性があるため (鏡面反射を明確にするために複数の拡散画像が必要になる可能性があるため)、またはトレーニング データセットが実際の分布を十分に表していないため、モデルの信頼性を定量化するための新しいフレームワークを提案します。
テスト時の予測。
私たちの手法は、材料のデジタル化における不確実性のモデリングの問題に初めて対処したものであり、アクティブ ラーニング実験で実証したように、プロセスの信頼性を高め、データセット作成のためのよりインテリジェントな戦略を可能にします。

要約(オリジナル)

We propose a learning-based method to recover normals, specularity, and roughness from a single diffuse image of a material, using microgeometry appearance as our primary cue. Previous methods that work on single images tend to produce over-smooth outputs with artifacts, operate at limited resolution, or train one model per class with little room for generalization. Previous methods that work on single images tend to produce over-smooth outputs with artifacts, operate at limited resolution, or train one model per class with little room for generalization. In contrast, in this work, we propose a novel capture approach that leverages a generative network with attention and a U-Net discriminator, which shows outstanding performance integrating global information at reduced computational complexity. We showcase the performance of our method with a real dataset of digitized textile materials and show that a commodity flatbed scanner can produce the type of diffuse illumination required as input to our method. Additionally, because the problem might be illposed -more than a single diffuse image might be needed to disambiguate the specular reflection- or because the training dataset is not representative enough of the real distribution, we propose a novel framework to quantify the model’s confidence about its prediction at test time. Our method is the first one to deal with the problem of modeling uncertainty in material digitization, increasing the trustworthiness of the process and enabling more intelligent strategies for dataset creation, as we demonstrate with an active learning experiment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google