Accurate Differential Operators for Hybrid Neural Fields

要約

ニューラルフィールドは、形状の表現から神経レンダリングまで、および部分的な微分方程式（PDE）を解くために、さまざまな分野で広く使用されています。
インスタントNGPのようなハイブリッドニューラルフィールド表現の出現により、小さなMLPSと明示的な表現を活用すると、これらのモデルは迅速にトレーニングし、大きなシーンに適合させることができます。
しかし、レンダリングやシミュレーションなどの多くのアプリケーションでは、ハイブリッドニューラルフィールドは顕著で不合理なアーティファクトを引き起こす可能性があります。
これは、これらのダウンストリームアプリケーションに必要な正確な空間デリバティブを生成しないためです。
この作業では、これらの課題を回避する2つの方法を提案します。
私たちの最初のアプローチは、局所的な多項式フィッティングを使用して、事前に訓練されたハイブリッド神経分野からより正確な誘導体を取得する事後演算子です。
さらに、初期信号を保存しながら正確な導関数を直接生成するためにハイブリッド神経界を改良する自己監視された微調整アプローチも提案します。
レンダリング、衝突シミュレーション、およびPDEの解決への方法のアプリケーションを示します。
私たちのアプローチを使用すると、より正確な導関数が得られ、アーティファクトが減少し、下流のアプリケーションでより正確なシミュレーションにつながることがわかります。

要約(オリジナル)

Neural fields have become widely used in various fields, from shape representation to neural rendering, and for solving partial differential equations (PDEs). With the advent of hybrid neural field representations like Instant NGP that leverage small MLPs and explicit representations, these models train quickly and can fit large scenes. Yet in many applications like rendering and simulation, hybrid neural fields can cause noticeable and unreasonable artifacts. This is because they do not yield accurate spatial derivatives needed for these downstream applications. In this work, we propose two ways to circumvent these challenges. Our first approach is a post hoc operator that uses local polynomial fitting to obtain more accurate derivatives from pre-trained hybrid neural fields. Additionally, we also propose a self-supervised fine-tuning approach that refines the hybrid neural field to yield accurate derivatives directly while preserving the initial signal. We show applications of our method to rendering, collision simulation, and solving PDEs. We observe that using our approach yields more accurate derivatives, reducing artifacts and leading to more accurate simulations in downstream applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google