MetaShadow: Object-Centered Shadow Detection, Removal, and Synthesis

要約

画像編集アプリケーションにおいて、影はしばしば十分に考慮されないか、無視されることさえあり、編集結果のリアリズムを制限している。本論文では、MetaShadowを紹介する。MetaShadowは、オブジェクトを中心とした方法で、自然画像における影の検出、除去、および制御可能な合成を可能にする3-in-1の汎用フレームワークである。MetaShadowは、2つの協調的なコンポーネントの長所を組み合わせたものである：MetaShadowは、物体中心の影の検出と除去を行うShadow Analyzerと、参照ベースの制御可能な影の合成を行うShadow Synthesizerの2つの協調コンポーネントの長所を組み合わせている。特筆すべきは、Shadow Synthesizerがシーンとシームレスに調和する、より現実的な影を生成するよう導くために、Shadow Analyzerからの中間特徴の学習を最適化することである。複数のシャドウベンチマークデータセットを用いた広範な評価により、MetaShadowはオブジェクト中心のシャドウ検出、除去、合成において、既存の最先端手法よりも大幅に改善されていることが示された。MetaShadowは、オブジェクトの除去、再配置、挿入などの画像編集タスクに優れており、オブジェクト中心の画像編集の限界を押し広げます。

要約(オリジナル)

Shadows are often under-considered or even ignored in image editing applications, limiting the realism of the edited results. In this paper, we introduce MetaShadow, a three-in-one versatile framework that enables detection, removal, and controllable synthesis of shadows in natural images in an object-centered fashion. MetaShadow combines the strengths of two cooperative components: Shadow Analyzer, for object-centered shadow detection and removal, and Shadow Synthesizer, for reference-based controllable shadow synthesis. Notably, we optimize the learning of the intermediate features from Shadow Analyzer to guide Shadow Synthesizer to generate more realistic shadows that blend seamlessly with the scene. Extensive evaluations on multiple shadow benchmark datasets show significant improvements of MetaShadow over the existing state-of-the-art methods on object-centered shadow detection, removal, and synthesis. MetaShadow excels in image-editing tasks such as object removal, relocation, and insertion, pushing the boundaries of object-centered image editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL