Retargeting Visual Data with Deformation Fields

要約

シームカービングは、オブジェクトの削除などの操作を含む、コンテンツに応じたサイズ変更を可能にする画像編集方法です。
ただし、動的プログラミングまたはグラフカットに基づく継ぎ目検出戦略では、その用途がより広範な視覚データ形式と編集の自由度に制限されます。
私たちの観察では、画像の編集とリターゲットを変位フィールドによってより一般的に記述すると、コンテンツを意識した変形が一般化されるということがわかりました。
私たちは、情報量が少ない場所でのみ変形を試みながら、出力を妥当なものに保つニューラル ネットワークを使用して変形を学習することを提案します。
この技術は、画像、神経放射フィールドとして与えられる 3D シーン、さらにはポリゴン メッシュなど、さまざまな種類の視覚データに適用されます。
さまざまなビジュアルデータに対して行われた実験では、私たちの方法が以前の方法と比較してより優れたコンテンツ認識型リターゲティングを達成できることが示されています。

要約(オリジナル)

Seam carving is an image editing method that enable content-aware resizing, including operations like removing objects. However, the seam-finding strategy based on dynamic programming or graph-cut limits its applications to broader visual data formats and degrees of freedom for editing. Our observation is that describing the editing and retargeting of images more generally by a displacement field yields a generalisation of content-aware deformations. We propose to learn a deformation with a neural network that keeps the output plausible while trying to deform it only in places with low information content. This technique applies to different kinds of visual data, including images, 3D scenes given as neural radiance fields, or even polygon meshes. Experiments conducted on different visual data show that our method achieves better content-aware retargeting compared to previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google