Self-improving Multiplane-to-layer Images for Novel View Synthesis

要約

我々は、任意の前方向きのシーンに一般化する、軽量なノベルビュー合成のための新しい方法を提示する。最近のアプローチは、計算量が多く、シーンごとの最適化が必要であり、また、メモリ消費型の表現を生成している。本論文では、まずシーンを前方平行半透明面の集合で表現し、その後、エンドツーエンドで変形可能なレイヤーに変換する。さらに、入力ビューからの情報を集約して推定された表現を修正するフィードフォワード改良手順を採用する。本手法は、新しいシーンが処理される際に微調整を必要とせず、また、任意の数のビューを制限なく扱うことができる。実験の結果、我々のアプローチは、一般的な指標と人間による評価において、最近のモデルを凌駕しており、推論速度と推論されたレイヤー幾何のコンパクトさにおいて顕著な優位性を持っていることがわかった（https://samsunglabs.github.io/MLI 参照）。

要約(オリジナル)

We present a new method for lightweight novel-view synthesis that generalizes to an arbitrary forward-facing scene. Recent approaches are computationally expensive, require per-scene optimization, or produce a memory-expensive representation. We start by representing the scene with a set of fronto-parallel semitransparent planes and afterward convert them to deformable layers in an end-to-end manner. Additionally, we employ a feed-forward refinement procedure that corrects the estimated representation by aggregating information from input views. Our method does not require fine-tuning when a new scene is processed and can handle an arbitrary number of views without restrictions. Experimental results show that our approach surpasses recent models in terms of common metrics and human evaluation, with the noticeable advantage in inference speed and compactness of the inferred layered geometry, see https://samsunglabs.github.io/MLI

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL