M2-Net: Multi-stages Specular Highlight Detection and Removal in Multi-scenes

要約

本論文では、合成画像、顔画像、自然画像、テキスト画像を含むマルチシーンでのハイライトの検出と除去のための新しい均一性フレームワークを提案します。
フレームワークは、3つの主要なコンポーネント、ハイライト特徴抽出モジュール、ハイライト粗除去モジュール、およびハイライトリファイン除去モジュールで構成されています。
まず、ハイライト特徴抽出モジュールは、ハイライト特徴と非ハイライト特徴を元のハイライト画像から直接分離できます。
次に、粗いハイライト除去ネットワークを使用してハイライト除去画像が取得されます。
ハイライト除去効果をさらに改善するために、コンテキストハイライト注意メカニズムに基づくリファインハイライト除去モジュールを使用して、リファインハイライト除去画像が最終的に取得されます。
複数のシーンでの広範な実験結果は、提案されたフレームワークがハイライト除去の優れた視覚効果を取得し、いくつかの定量的評価指標で最先端の結果を達成できることを示しています。
私たちのアルゴリズムは、ビデオハイライトの除去に初めて適用され、有望な結果が得られます。

要約(オリジナル)

In this paper, we propose a novel uniformity framework for highlight detection and removal in multi-scenes, including synthetic images, face images, natural images, and text images. The framework consists of three main components, highlight feature extractor module, highlight coarse removal module, and highlight refine removal module. Firstly, the highlight feature extractor module can directly separate the highlight feature and non-highlight feature from the original highlight image. Then highlight removal image is obtained using a coarse highlight removal network. To further improve the highlight removal effect, the refined highlight removal image is finally obtained using refine highlight removal module based on contextual highlight attention mechanisms. Extensive experimental results in multiple scenes indicate that the proposed framework can obtain excellent visual effects of highlight removal and achieve state-of-the-art results in several quantitative evaluation metrics. Our algorithm is applied for the first time in video highlight removal with promising results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google