Measured Albedo in the Wild: Filling the Gap in Intrinsics Evaluation

要約

固有の画像分解と逆レンダリングは、コンピューター ビジョンにおける長年の問題です。
アルベド回復を評価するために、ほとんどのアルゴリズムは、IIW データセットの平均加重人間不一致率 (WHDR) メトリクスを使用して定量的パフォーマンスを報告します。
ただし、WHDR は相対的なアルベド値のみに焦点を当てており、アルベドの全体的な品質を捕捉できないことがよくあります。
アルベドを包括的に評価するために、私たちは新しいデータセットである野生のアルベド測定 (MAW) を収集し、WHDR を補完する 3 つの新しい指標 (強度、色度、テクスチャ指標) を提案します。
既存のアルゴリズムは多くの場合、WHDR メトリクスを改善しますが、他のメトリクスではパフォーマンスが低いことを示します。
次に、MAW データセットのさまざまなアルゴリズムを微調整して、再構成されたアルベドの品質を量的および質的に大幅に向上させます。
提案された強度、色度、テクスチャのメトリクスと WHDR はすべて補完的であるため、平均パフォーマンスを捉える相対パフォーマンス測定をさらに導入します。
既存のアルゴリズムを分析することにより、改善の余地が大きいことがわかりました。
私たちのデータセットと評価指標により、研究者はアルベド再構築を改善するアルゴリズムを開発できるようになります。
コードとデータは https://measuredalbedo.github.io/ で入手できます。

要約(オリジナル)

Intrinsic image decomposition and inverse rendering are long-standing problems in computer vision. To evaluate albedo recovery, most algorithms report their quantitative performance with a mean Weighted Human Disagreement Rate (WHDR) metric on the IIW dataset. However, WHDR focuses only on relative albedo values and often fails to capture overall quality of the albedo. In order to comprehensively evaluate albedo, we collect a new dataset, Measured Albedo in the Wild (MAW), and propose three new metrics that complement WHDR: intensity, chromaticity and texture metrics. We show that existing algorithms often improve WHDR metric but perform poorly on other metrics. We then finetune different algorithms on our MAW dataset to significantly improve the quality of the reconstructed albedo both quantitatively and qualitatively. Since the proposed intensity, chromaticity, and texture metrics and the WHDR are all complementary we further introduce a relative performance measure that captures average performance. By analysing existing algorithms we show that there is significant room for improvement. Our dataset and evaluation metrics will enable researchers to develop algorithms that improve albedo reconstruction. Code and Data available at: https://measuredalbedo.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google