Prompt-Aware Controllable Shadow Removal

要約

シャドウ除去は、シャドウ領域の画像コンテンツを復元することを目的としている。ディープラーニングに基づく手法は有望な結果を示しているが、依然として重要な課題に直面している：1）すべての影を制御せずに除去する、あるいは、2）制御可能な除去であるが、正確な影領域マスクに大きく依存する。これらの問題に対処するために、我々は、プロンプトを意識した制御可能な影除去という新しいパラダイムを導入する。既存のアプローチとは異なり、我々のパラダイムは、ユーザーのプロンプト（例えば、点、線、または被写体マスク）に基づいて、特定の被写体からターゲットを絞った影除去を可能にする。このアプローチは、影の注釈の必要性を排除し、柔軟でユーザー制御の影除去を提供します。具体的には、エンド・ツー・エンドの学習可能なモデル、プロンプト・アウェア制御可能影除去ネットワーク（PACSRNet）を提案する。PACSRNetは2つの主要なモジュールから構成される：ユーザープロンプトに基づいて、指定された被写体のためのシャドウマスクを生成するプロンプト認識モジュールと、シャドウ領域のコンテンツを復元するために、最初のモジュールからのシャドウプリオールを使用するシャドウ除去モジュールである。さらに、プロンプト認識モジュールからの特徴情報を線形演算によって取り込むことで、影除去モジュールを強化し、プロンプトガイドによる影除去のサポートを提供する。既存の影除去データセットには多様なユーザープロンプトがないことを認識し、プロンプトに基づく制御可能な影除去のために特別に設計された新しいデータセットを提供する。広範な実験結果は、PACSRNetの有効性と優位性を実証している。

要約(オリジナル)

Shadow removal aims to restore the image content in shadowed regions. While deep learning-based methods have shown promising results, they still face key challenges: 1) uncontrolled removal of all shadows, or 2) controllable removal but heavily relies on precise shadow region masks. To address these issues, we introduce a novel paradigm: prompt-aware controllable shadow removal. Unlike existing approaches, our paradigm allows for targeted shadow removal from specific subjects based on user prompts (e.g., dots, lines, or subject masks). This approach eliminates the need for shadow annotations and offers flexible, user-controlled shadow removal. Specifically, we propose an end-to-end learnable model, the Prompt-Aware Controllable Shadow Removal Network (PACSRNet). PACSRNet consists of two key modules: a prompt-aware module that generates shadow masks for the specified subject based on the user prompt, and a shadow removal module that uses the shadow prior from the first module to restore the content in the shadowed regions. Additionally, we enhance the shadow removal module by incorporating feature information from the prompt-aware module through a linear operation, providing prompt-guided support for shadow removal. Recognizing that existing shadow removal datasets lack diverse user prompts, we contribute a new dataset specifically designed for prompt-based controllable shadow removal. Extensive experimental results demonstrate the effectiveness and superiority of PACSRNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL