On Unifying Video Generation and Camera Pose Estimation

要約

画像生成における3D機能の出現に触発され、ビデオ生成も同様に3D認識を示すかどうかを調べる。3DタスクのベンチマークとしてStructure-From-Motion（SfM）を使用し、ビデオ生成モデルであるOpenSoraからの中間特徴量がカメラのポーズ推定をサポートできるかどうかを調査する。まず、DUSt3RのようなSfM予測モジュールに生の中間出力をルーティングすることで、ビデオ生成機能におけるネイティブな3D認識を調べる。次に、3D認識を強化するためにカメラポーズ推定を微調整した場合の影響を調べる。その結果、ビデオジェネレータの特徴量には固有の3D認識が限定的である一方、タスクに特化した監督により、カメラポーズ推定の精度が大幅に向上し、競争力のある性能が得られることが示された。JOG3Rと名付けられた提案された統一モデルは、ビデオ生成の品質を低下させることなく、競争力のある品質のカメラポーズ推定を生成する。

要約(オリジナル)

Inspired by the emergent 3D capabilities in image generators, we explore whether video generators similarly exhibit 3D awareness. Using structure-from-motion (SfM) as a benchmark for 3D tasks, we investigate if intermediate features from OpenSora, a video generation model, can support camera pose estimation. We first examine native 3D awareness in video generation features by routing raw intermediate outputs to SfM-prediction modules like DUSt3R. Then, we explore the impact of fine-tuning on camera pose estimation to enhance 3D awareness. Results indicate that while video generator features have limited inherent 3D awareness, task-specific supervision significantly boosts their accuracy for camera pose estimation, resulting in competitive performance. The proposed unified model, named JOG3R, produces camera pose estimates with competitive quality without degrading video generation quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL