Towards Hard and Soft Shadow Removal via Dual-Branch Separation Network and Vision Transformer

要約

画像の影除去は、コンピュータ・ビジョンにおいて極めて重要なタスクである。実世界のシーンにおいて、影は画像の色と明るさを変化させ、知覚とテクスチャ認識に課題をもたらす。従来の手法やディープラーニング手法は、ハードシャドウとソフトシャドウを処理するための明確なニーズを見落としていることが多く、画像中のそれぞれのタイプのシャドウに特化した詳細な処理が欠けている。我々は、ハードシャドウとソフトシャドウの除去を達成するために特別に設計された損失関数を用いて、これらのシャドウを別々に処理するデュアルパスモデルを提案する。このモデルは、影の種類を分類し、適切なパスを通してそれらを処理し、エッジの詳細化と特徴融合のためにUNet++とVision Transformerを統合して、影のない出力を生成する。我々のモデルは最先端の手法を凌駕し、ISTDデータセットにおいてRMSE値2.905を達成し、典型的なシングルパスアプローチよりも高い有効性を示す。

要約(オリジナル)

Image shadow removal is a crucial task in computer vision. In real-world scenes, shadows alter image color and brightness, posing challenges for perception and texture recognition. Traditional and deep learning methods often overlook the distinct needs for handling hard and soft shadows, thereby lacking detailed processing to specifically address each type of shadow in images.We propose a dual-path model that processes these shadows separately using specially designed loss functions to accomplish the hard and soft shadow removal. The model classifies shadow types and processes them through appropriate paths to produce shadow-free outputs, integrating a Vision Transformer with UNet++ for enhanced edge detail and feature fusion. Our model outperforms state-of-the-art methods and achieves 2.905 RMSE value on the ISTD dataset, which demonstrates greater effectiveness than typical single-path approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL