NeuralMarker: A Framework for Learning General Marker Correspondence

要約

映画ポスターなどの一般的なマーカーから、そのようなマーカーをキャプチャする画像への対応を推定する問題に取り組みます。
従来、この問題は、スパース特徴マッチングに基づくホモグラフィ モデルをフィッティングすることで対処されていました。
ただし、それらは平面のようなマーカーしか処理できず、まばらな特徴は外観情報を十分に活用していません。
この論文では、新しいフレームワークNeuralMarkerを提案し、マーカーの変形、過酷な照明など、さまざまな困難な条件下で高密度のマーカー対応を推定するニューラルネットワークをトレーニングします。さらに、実際のマーカーの注釈を取り巻く新しいマーカー対応評価方法も提案します
-画像ペアを作成し、新しいベンチマークを作成します。
NeuralMarker が以前の方法よりも大幅に優れており、拡張現実 (AR) やビデオ編集などの新しい興味深いアプリケーションを可能にすることを示しています。

要約(オリジナル)

We tackle the problem of estimating correspondences from a general marker, such as a movie poster, to an image that captures such a marker. Conventionally, this problem is addressed by fitting a homography model based on sparse feature matching. However, they are only able to handle plane-like markers and the sparse features do not sufficiently utilize appearance information. In this paper, we propose a novel framework NeuralMarker, training a neural network estimating dense marker correspondences under various challenging conditions, such as marker deformation, harsh lighting, etc. Besides, we also propose a novel marker correspondence evaluation method circumstancing annotations on real marker-image pairs and create a new benchmark. We show that NeuralMarker significantly outperforms previous methods and enables new interesting applications, including Augmented Reality (AR) and video editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google