Rasterized Edge Gradients: Handling Discontinuities Differentiably

要約

レンダリング プロセスの勾配を計算することは、コンピューター ビジョンやグラフィックスのさまざまなアプリケーションにとって最も重要です。
ただし、これらの勾配を正確に計算することは、特にサーフェスベースの表現やラスタライゼーションベースのレンダリングの場合、不連続性やレンダリング近似のため困難です。
ラスタライゼーションベースの微分可能レンダラーの可視性不連続点での勾配を計算するための新しい方法を紹介します。
私たちの手法は、慎重に設計された近似戦略を通じて従来の複雑な問題をエレガントに単純化し、簡単で効果的かつパフォーマンスの高いソリューションを可能にします。
マイクロエッジという新しい概念を導入します。これにより、ラスター化された画像を、本質的に微分不可能な離散ピクセルのラスター化と連携した微分可能な連続プロセスの結果として扱うことができます。
この技術により、レンダリング近似や前方パスへのその他の変更が不要になり、レンダリングされたイメージの完全性が維持されるため、フィルタリングが禁止されているラスタライズされたマスク、深度、および法線イメージに適用できるようになります。
マイクロエッジを利用すると、不連続部での勾配の解釈が簡素化され、ジオメトリの交差の処理が可能になり、従来技術を超える利点がもたらされます。
動的人間の頭部シーンの再構築における私たちの手法を紹介し、カメラ画像とセグメンテーション マスクの効果的な処理を示します。

要約(オリジナル)

Computing the gradients of a rendering process is paramount for diverse applications in computer vision and graphics. However, accurate computation of these gradients is challenging due to discontinuities and rendering approximations, particularly for surface-based representations and rasterization-based rendering. We present a novel method for computing gradients at visibility discontinuities for rasterization-based differentiable renderers. Our method elegantly simplifies the traditionally complex problem through a carefully designed approximation strategy, allowing for a straightforward, effective, and performant solution. We introduce a novel concept of micro-edges, which allows us to treat the rasterized images as outcomes of a differentiable, continuous process aligned with the inherently non-differentiable, discrete-pixel rasterization. This technique eliminates the necessity for rendering approximations or other modifications to the forward pass, preserving the integrity of the rendered image, which makes it applicable to rasterized masks, depth, and normals images where filtering is prohibitive. Utilizing micro-edges simplifies gradient interpretation at discontinuities and enables handling of geometry intersections, offering an advantage over the prior art. We showcase our method in dynamic human head scene reconstruction, demonstrating effective handling of camera images and segmentation masks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google