SAIR: Learning Semantic-aware Implicit Representation

要約

画像の暗黙的表現は、連続領域内の任意の座標を対応する色の値にマッピングすることができ、画像再構築のための強力な機能を提供します。
それにもかかわらず、既存の暗黙的表現アプローチは、連続的な外観マッピングの構築のみに焦点を当てており、ピクセル間の意味論的情報の連続性を無視しています。
その結果、入力画像内の意味情報が破損している場合 (たとえば、大きな領域が欠落している場合)、望ましい再構成結果を達成することはほとんどできません。
この問題に対処するために、私たちはセマンティックを意識した暗黙的表現 (SAIR) を学習することを提案します。つまり、各ピクセルの暗黙的表現をその外観とセマンティック情報 (たとえば、ピクセルがどのオブジェクトに属しているか) の両方に依存させるようにします。
この目的を達成するために、我々は 2 つのモジュールを備えたフレームワークを提案します。 (1) 大きな領域が欠落している破損した画像のセマンティック暗黙的表現 (SIR) を構築します。
連続領域内の任意の座標が与えられると、ピクセルが属するオブジェクトを示すそれぞれのテキストに位置合わせされた埋め込みを取得できます。
（２）ＳＩＲに基づいて外観暗黙的表現（ＡＩＲ）を構築する。
連続領域内の任意の座標が与えられると、入力でピクセルが欠落しているかどうかに関係なく、その色を再構築できます。
私たちは、画像修復タスクにおける新しい意味論を意識した暗黙的表現方法を検証し、広範な実験により、私たちの方法が最先端のアプローチを大幅に上回っていることが実証されました。

要約(オリジナル)

Implicit representation of an image can map arbitrary coordinates in the continuous domain to their corresponding color values, presenting a powerful capability for image reconstruction. Nevertheless, existing implicit representation approaches only focus on building continuous appearance mapping, ignoring the continuities of the semantic information across pixels. As a result, they can hardly achieve desired reconstruction results when the semantic information within input images is corrupted, for example, a large region misses. To address the issue, we propose to learn semantic-aware implicit representation (SAIR), that is, we make the implicit representation of each pixel rely on both its appearance and semantic information (\eg, which object does the pixel belong to). To this end, we propose a framework with two modules: (1) building a semantic implicit representation (SIR) for a corrupted image whose large regions miss. Given an arbitrary coordinate in the continuous domain, we can obtain its respective text-aligned embedding indicating the object the pixel belongs. (2) building an appearance implicit representation (AIR) based on the SIR. Given an arbitrary coordinate in the continuous domain, we can reconstruct its color whether or not the pixel is missed in the input. We validate the novel semantic-aware implicit representation method on the image inpainting task, and the extensive experiments demonstrate that our method surpasses state-of-the-art approaches by a significant margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google