Efficient View Synthesis and 3D-based Multi-Frame Denoising with Multiplane Feature Representations

要約

タイトル：マルチプレーン特徴表現を使用した効率的なビュー合成と3Dベースのマルチフレームノイズリダクション

要約：現在のマルチフレームのリストア方法は、2Dアラインメント技術を使用して複数の入力画像からの情報を結合するが、最近のビュー合成の進歩により、体積的なシーン表現に頼る新しいパラダイムが開拓されつつある。この研究では、マルチプレーン画像（MPI）フレームワークを拡張し、特徴空間でマルチプレーン表現を操作する学習可能なエンコーダ-レンダラーペアを導入することで、2Dベースの対応方法を大幅に上回る3Dベースのマルチフレームノイズリダクション手法を紹介する。エンコーダはビュー間で情報を融合し、深度方向に操作する一方、レンダラーは深度間で情報を融合し、ビュー方向に操作する。これらの2つのモジュールはエンドツーエンドでトレーニングされ、非監督的に深度を分離することを学び、マルチプレーン特徴（MPF）表現を生み出す。SpacesとReal Forward-Facingデータセットおよび生データバーストでの実験により、ノイズ条件下でのビュー合成、マルチフレームノイズリダクション、ビュー合成手法の有効性を検証する。

要約(オリジナル)

While current multi-frame restoration methods combine information from multiple input images using 2D alignment techniques, recent advances in novel view synthesis are paving the way for a new paradigm relying on volumetric scene representations. In this work, we introduce the first 3D-based multi-frame denoising method that significantly outperforms its 2D-based counterparts with lower computational requirements. Our method extends the multiplane image (MPI) framework for novel view synthesis by introducing a learnable encoder-renderer pair manipulating multiplane representations in feature space. The encoder fuses information across views and operates in a depth-wise manner while the renderer fuses information across depths and operates in a view-wise manner. The two modules are trained end-to-end and learn to separate depths in an unsupervised way, giving rise to Multiplane Feature (MPF) representations. Experiments on the Spaces and Real Forward-Facing datasets as well as on raw burst data validate our approach for view synthesis, multi-frame denoising, and view synthesis under noisy conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI