Approximate Differentiable Rendering with Algebraic Surfaces

要約

微分可能なレンダラーは、オブジェクトの3D表現とそのオブジェクトの画像の間の直接的な数学的リンクを提供します。
この作業では、コンパクトで解釈可能な表現のための近似微分可能レンダラーを開発します。これをファジーメタボールと呼びます。
おおよそのレンダラーは、深度マップとシルエットを介した形状のレンダリングに重点を置いています。
ユーティリティの忠実度を犠牲にして、ビジョンタスクの解決に使用できる高速ランタイムと高品質の勾配情報を生成します。
メッシュベースの微分可能レンダラーと比較して、私たちの方法には5倍速いフォワードパスと30倍速いバックワードパスがあります。
私たちの方法で生成された深度マップとシルエット画像は滑らかで、どこでも定義されています。
ポーズ推定のための微分可能なレンダラーの評価では、私たちの方法が古典的な手法に匹敵する唯一の方法であることを示しています。
シルエットからの形状では、私たちの方法は、代理損失や正則化なしで、勾配降下法とピクセルごとの損失のみを使用してうまく機能します。
これらの再構成は、セグメンテーションアーティファクトのある自然なビデオシーケンスでもうまく機能します。
プロジェクトページ：https：//leonidk.github.io/fuzzy-metaballs

要約(オリジナル)

Differentiable renderers provide a direct mathematical link between an object’s 3D representation and images of that object. In this work, we develop an approximate differentiable renderer for a compact, interpretable representation, which we call Fuzzy Metaballs. Our approximate renderer focuses on rendering shapes via depth maps and silhouettes. It sacrifices fidelity for utility, producing fast runtimes and high-quality gradient information that can be used to solve vision tasks. Compared to mesh-based differentiable renderers, our method has forward passes that are 5x faster and backwards passes that are 30x faster. The depth maps and silhouette images generated by our method are smooth and defined everywhere. In our evaluation of differentiable renderers for pose estimation, we show that our method is the only one comparable to classic techniques. In shape from silhouette, our method performs well using only gradient descent and a per-pixel loss, without any surrogate losses or regularization. These reconstructions work well even on natural video sequences with segmentation artifacts. Project page: https://leonidk.github.io/fuzzy-metaballs

arxiv情報

提供元, 利用サービス

arxiv.jp, Google