PointOdyssey: A Large-Scale Synthetic Dataset for Long-Term Point Tracking

要約

長期にわたるきめ細かい追跡アルゴリズムのトレーニングと評価のための大規模合成データセットとデータ生成フレームワークである PointOdyssey を紹介します。
私たちの目標は、自然な動きを持つ長いビデオに重点を置くことで、最先端の技術を進歩させることです。
自然主義の目標に向けて、現実世界のモーション キャプチャ データを使用して変形可能なキャラクターをアニメートし、モーション キャプチャ環境に一致する 3D シーンを構築し、実際のビデオのモーション キャプチャによってマイニングされた軌道を使用してカメラの視点をレンダリングします。
キャラクターの外観、モーションプロファイル、マテリアル、照明、3D アセット、雰囲気効果をランダム化することで、組み合わせの多様性を生み出します。
私たちのデータセットには現在、平均 2,000 フレームの長さの 104 個のビデオが含まれており、以前の研究よりも桁違いに多くの対応アノテーションが付いています。
既存のメソッドをデータセットでゼロからトレーニングでき、公開されているバリアントよりも優れたパフォーマンスを発揮できることを示します。
最後に、PIP ポイント追跡方法に修正を導入し、時間的受容野を大幅に拡大します。これにより、PointOdyssey および 2 つの現実世界のベンチマークでのパフォーマンスが向上します。
私たちのデータとコードは、https://pointodyssey.com で公開されています。

要約(オリジナル)

We introduce PointOdyssey, a large-scale synthetic dataset, and data generation framework, for the training and evaluation of long-term fine-grained tracking algorithms. Our goal is to advance the state-of-the-art by placing emphasis on long videos with naturalistic motion. Toward the goal of naturalism, we animate deformable characters using real-world motion capture data, we build 3D scenes to match the motion capture environments, and we render camera viewpoints using trajectories mined via structure-from-motion on real videos. We create combinatorial diversity by randomizing character appearance, motion profiles, materials, lighting, 3D assets, and atmospheric effects. Our dataset currently includes 104 videos, averaging 2,000 frames long, with orders of magnitude more correspondence annotations than prior work. We show that existing methods can be trained from scratch in our dataset and outperform the published variants. Finally, we introduce modifications to the PIPs point tracking method, greatly widening its temporal receptive field, which improves its performance on PointOdyssey as well as on two real-world benchmarks. Our data and code are publicly available at: https://pointodyssey.com

arxiv情報

提供元, 利用サービス

arxiv.jp, Google