iColoriT: Towards Propagating Local Hint to the Right Region in Interactive Colorization by Leveraging Vision Transformer

要約

ポイントインタラクティブな画像の色付けは、ユーザーが特定の場所に色を指定したときにグレースケール画像を色付けすることを目的としています。
ポイントインタラクティブな色付け方法では、ユーザーが提供した色 (つまり、ユーザーヒント) を画像全体に適切に伝播して、最小限のユーザー労力で適切に色付けされた画像を取得することが不可欠です。
ただし、既存のアプローチでは、畳み込み層を積み重ねてヒントを離れた関連領域に伝播する非効率的な設計により、部分的に色付けされた結果が生成されることがよくあります。
この問題に対処するために、トランスフォーマーのグローバルな受容フィールドを活用して、ユーザーのヒントを関連領域に伝播できる新しいポイントインタラクティブなカラー化ビジョン トランスフォーマーである iColoriT を紹介します。
トランスフォーマーのセルフアテンション メカニズムにより、iColoriT は、わずかなローカル ヒントだけで関連領域を選択的に色付けできます。
私たちのアプローチは、デコーダー アーキテクチャに代わる効率的なアップサンプリング手法であるピクセル シャフリングを利用して、リアルタイムで画像を色付けします。
また、大きなアップサンプリング比でのピクセル シャッフルによって引き起こされるアーティファクトを軽減するために、ローカル安定化レイヤーを提示します。
広範な定量的および定性的な結果は、ユーザーの最小限の労力で正確に色付けされた画像を生成し、ポイントインタラクティブな色付けの既存の方法よりもはるかに優れていることを示しています。
公式コードは https://pmh9960.github.io/research/iColoriT で入手できます

要約(オリジナル)

Point-interactive image colorization aims to colorize grayscale images when a user provides the colors for specific locations. It is essential for point-interactive colorization methods to appropriately propagate user-provided colors (i.e., user hints) in the entire image to obtain a reasonably colorized image with minimal user effort. However, existing approaches often produce partially colorized results due to the inefficient design of stacking convolutional layers to propagate hints to distant relevant regions. To address this problem, we present iColoriT, a novel point-interactive colorization Vision Transformer capable of propagating user hints to relevant regions, leveraging the global receptive field of Transformers. The self-attention mechanism of Transformers enables iColoriT to selectively colorize relevant regions with only a few local hints. Our approach colorizes images in real-time by utilizing pixel shuffling, an efficient upsampling technique that replaces the decoder architecture. Also, in order to mitigate the artifacts caused by pixel shuffling with large upsampling ratios, we present the local stabilizing layer. Extensive quantitative and qualitative results demonstrate that our approach highly outperforms existing methods for point-interactive colorization, producing accurately colorized images with a user’s minimal effort. Official codes are available at https://pmh9960.github.io/research/iColoriT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google