Initialization and Alignment for Adversarial Texture Optimization

要約

画像およびビデオデータからのジオメトリの回復はコンピュータビジョンで多くの注目を集めていますが、特定のジオメトリのテクスチャをキャプチャする方法は成熟していません。
具体的には、テクスチャ生成の従来の方法では、多くの場合、クリーンなジオメトリと適度に適切に位置合わせされた画像データを想定しています。
敵対的なテクスチャ最適化などのごく最近の方法では、ハンドヘルドデバイスから取得した低品質のデータをより適切に処理できますが、それでも頻繁に苦労しています。
特に最近の敵対的なテクスチャ最適化の堅牢性を向上させるために、明示的な初期化と位置合わせ手順を開発します。
ジオメトリのテクスチャマップへの堅牢なマッピングとハード割り当てベースの初期化により、複雑なジオメトリを処理します。
高速画像アライメントをテクスチャリファインメント最適化に統合することにより、ジオメトリと画像のミスアライメントを処理します。
合計2807フレームの11シーンのデータセットでテクスチャ生成の有効性を示し、知覚とシャープネスの測定に関して7.8％と11.1％の相対的な改善を観察しました。

要約(オリジナル)

While recovery of geometry from image and video data has received a lot of attention in computer vision, methods to capture the texture for a given geometry are less mature. Specifically, classical methods for texture generation often assume clean geometry and reasonably well-aligned image data. While very recent methods, e.g., adversarial texture optimization, better handle lower-quality data obtained from hand-held devices, we find them to still struggle frequently. To improve robustness, particularly of recent adversarial texture optimization, we develop an explicit initialization and an alignment procedure. It deals with complex geometry due to a robust mapping of the geometry to the texture map and a hard-assignment-based initialization. It deals with misalignment of geometry and images by integrating fast image-alignment into the texture refinement optimization. We demonstrate efficacy of our texture generation on a dataset of 11 scenes with a total of 2807 frames, observing 7.8% and 11.1% relative improvements regarding perceptual and sharpness measurements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google