Diversity-Driven View Subset Selection for Indoor Novel View Synthesis

要約

屋内シーンの新しいビュー統合は、環境の単眼ビデオシーケンスをキャプチャすることで実現できます。
ただし、入力ビデオデータの人工的な動きによって引き起こされる冗長な情報は、シーンモデリングの効率を低下させます。
これに対処するために、ビューサブセット選択のための組み合わせ最適化タスクとして問題を定式化します。
この作業では、包括的な多様性ベースの測定を適切に設計されたユーティリティ関数と統合する新しいサブセット選択フレームワークを提案します。
これらのユーティリティ関数の理論的分析を提供し、広範な実験を通じてそれらの有効性を検証します。
さらに、複雑な人間の行動をシミュレートする複雑で拡張された軌跡を特徴とする屋内小説ビューの合成のために設計された新しいデータセットであるIndoorTrajを紹介します。
IndoorTrajの実験は、私たちのフレームワークがデータの5〜20％しか使用しない一方でベースライン戦略を一貫して上回っており、その驚くべき効率と有効性を強調していることを示しています。
このコードは、https：//github.com/zehao-wang/indoortrajで入手できます

要約(オリジナル)

Novel view synthesis of indoor scenes can be achieved by capturing a monocular video sequence of the environment. However, redundant information caused by artificial movements in the input video data reduces the efficiency of scene modeling. To address this, we formulate the problem as a combinatorial optimization task for view subset selection. In this work, we propose a novel subset selection framework that integrates a comprehensive diversity-based measurement with well-designed utility functions. We provide a theoretical analysis of these utility functions and validate their effectiveness through extensive experiments. Furthermore, we introduce IndoorTraj, a novel dataset designed for indoor novel view synthesis, featuring complex and extended trajectories that simulate intricate human behaviors. Experiments on IndoorTraj show that our framework consistently outperforms baseline strategies while using only 5-20% of the data, highlighting its remarkable efficiency and effectiveness. The code is available at: https://github.com/zehao-wang/IndoorTraj

arxiv情報

提供元, 利用サービス

arxiv.jp, Google