Flexible Techniques for Differentiable Rendering with 3D Gaussians

要約

高速で信頼性の高い形状再構築は、多くのコンピューター ビジョン アプリケーションにおいて不可欠な要素です。
Neural Radiance Fields は、フォトリアリスティックな新しいビュー合成が実現できることを実証しましたが、実際のシーンやオブジェクトを高速に再構成するためのパフォーマンス要件によって制限されました。
最近のいくつかのアプローチは、代替形状表現、特に 3D ガウスに基づいて構築されています。
私たちは、微分可能なオプティカル フローの統合、防水メッシュのエクスポート、レイごとの法線のレンダリングなど、これらのレンダラーの拡張機能を開発しています。
さらに、最近の 2 つの方法がどのように相互運用可能であるかを示します。
これらの再構築は迅速かつ堅牢で、GPU または CPU で簡単に実行できます。
コードと視覚的な例については、https://leonidk.github.io/fmb-plus を参照してください。

要約(オリジナル)

Fast, reliable shape reconstruction is an essential ingredient in many computer vision applications. Neural Radiance Fields demonstrated that photorealistic novel view synthesis is within reach, but was gated by performance requirements for fast reconstruction of real scenes and objects. Several recent approaches have built on alternative shape representations, in particular, 3D Gaussians. We develop extensions to these renderers, such as integrating differentiable optical flow, exporting watertight meshes and rendering per-ray normals. Additionally, we show how two of the recent methods are interoperable with each other. These reconstructions are quick, robust, and easily performed on GPU or CPU. For code and visual examples, see https://leonidk.github.io/fmb-plus

arxiv情報

提供元, 利用サービス

arxiv.jp, Google