OmniSR: Shadow Removal under Direct and Indirect Lighting

要約

影は、直接照明と間接照明の両方のオクルージョンから発生する可能性があります。
現在の影除去の研究のほとんどは、直接照明によって引き起こされる影に焦点を当てていますが、間接照明による影も、特に屋内シーンでは同様に蔓延していることがよくあります。
間接照明から影を除去する際の重要な課題は、影除去ネットワークをトレーニングするために影のない画像を取得することです。
この課題を克服するために、直接照明および間接照明の下で影のある画像と影のない画像を生成するための新しいレンダリング パイプラインを提案し、さまざまなオブジェクト タイプと照明条件をカバーする 30,000 を超える画像ペアを含む包括的な合成データセットを作成します。
また、連結とアテンションのメカニズムを通じて意味論的事前分布と幾何学的事前分布を明示的に統合する革新的な影除去ネットワークも提案します。
実験では、私たちの方法が最先端の影除去技術よりも優れており、さまざまな照明条件の下で屋内および屋外のシーンに効果的に一般化でき、影除去方法の全体的な有効性と適用性が向上することが示されています。

要約(オリジナル)

Shadows can originate from occlusions in both direct and indirect illumination. Although most current shadow removal research focuses on shadows caused by direct illumination, shadows from indirect illumination are often just as pervasive, particularly in indoor scenes. A significant challenge in removing shadows from indirect illumination is obtaining shadow-free images to train the shadow removal network. To overcome this challenge, we propose a novel rendering pipeline for generating shadowed and shadow-free images under direct and indirect illumination, and create a comprehensive synthetic dataset that contains over 30,000 image pairs, covering various object types and lighting conditions. We also propose an innovative shadow removal network that explicitly integrates semantic and geometric priors through concatenation and attention mechanisms. The experiments show that our method outperforms state-of-the-art shadow removal techniques and can effectively generalize to indoor and outdoor scenes under various lighting conditions, enhancing the overall effectiveness and applicability of shadow removal methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google