HVC-Net: Unifying Homography, Visibility, and Confidence Learning for Planar Object Tracking

要約

ビデオ シーケンス全体にわたる堅牢で正確な平面トラッキングは、多くのビジョン アプリケーションにとって非常に重要です。
平面オブジェクト追跡の鍵は、ホモグラフィによってモデル化された、参照イメージと追跡されたイメージの間のオブジェクトの対応を見つけることです。
既存の方法は、外観の変化、カメラとオブジェクトの相対的な動き、およびオクルージョンの変化に対して誤った対応を取得する傾向があります。
この問題を軽減するために、ホモグラフィ、可視性、および信頼性を一緒に考慮する統合畳み込みニューラル ネットワーク (CNN) モデルを提示します。
まず、モデルのベースとして、局所的な外観の変化とカメラとオブジェクトの相対運動を明示的に説明する相関ブロックを導入します。
次に、カメラとオブジェクトの相対的な動きをオクルージョンと関連付けるホモグラフィと可視性を共同で学習します。
第三に、相関ブロックで得られたピクセル相関分布から推定品質を積極的に監視する信頼度モジュールを提案します。
これらのモジュールはすべて Lucas-Kanade (LK) 追跡パイプラインに接続され、正確で堅牢な平面オブジェクト追跡を取得します。
私たちのアプローチは、パブリック POT および TMT データセットに対する最先端の方法よりも優れています。
その優れた性能は実際のアプリケーションでも検証されており、高品質な動画内広告を合成しています。

要約(オリジナル)

Robust and accurate planar tracking over a whole video sequence is vitally important for many vision applications. The key to planar object tracking is to find object correspondences, modeled by homography, between the reference image and the tracked image. Existing methods tend to obtain wrong correspondences with changing appearance variations, camera-object relative motions and occlusions. To alleviate this problem, we present a unified convolutional neural network (CNN) model that jointly considers homography, visibility, and confidence. First, we introduce correlation blocks that explicitly account for the local appearance changes and camera-object relative motions as the base of our model. Second, we jointly learn the homography and visibility that links camera-object relative motions with occlusions. Third, we propose a confidence module that actively monitors the estimation quality from the pixel correlation distributions obtained in correlation blocks. All these modules are plugged into a Lucas-Kanade (LK) tracking pipeline to obtain both accurate and robust planar object tracking. Our approach outperforms the state-of-the-art methods on public POT and TMT datasets. Its superior performance is also verified on a real-world application, synthesizing high-quality in-video advertisements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google