Uncertainty modeling for fine-tuned implicit functions

要約

ニューラル放射輝度フィールド（NERF）、占有ネットワーク、署名距離関数（SDF）などの暗黙の関数は、まばらなビューから詳細なオブジェクト形状を再構築するためのコンピュータービジョンにおいて極めて重要になりました。
これらのモデルで最適なパフォーマンスを達成することは、データの腐敗によって引き起こされる入力と分布シフトの極端なスパースのために困難な場合があります。
この目的のために、大きなノイズフリーの合成データセットは、モデルがギャップを埋めるのに役立つ形状の前提として機能しますが、結果の再構成に注意してアプローチする必要があります。
不確実性の推定は、これらの再構成の品質を評価するために重要です。特に、モデルが以前から推測した部分についてモデルが不確かな領域を特定する上で重要です。
このホワイトペーパーでは、ドロップセンブルを紹介します。これは、調整された暗黙的関数における不確実性推定の新しい方法です。
一連の実験を通じて、おもちゃの例から始まり、現実世界のシナリオへの進歩を通じて、アプローチの有効性を実証します。
具体的には、合成解剖学的データに関する畳み込み占有ネットワークを訓練し、腰椎の低解像度MRIセグメンテーションでテストします。
私たちの結果は、ドロップセンプルがディープアンサンブルの精度とキャリブレーションレベルを達成するが、計算コストが大幅に少ないことを示しています。

要約(オリジナル)

Implicit functions such as Neural Radiance Fields (NeRFs), occupancy networks, and signed distance functions (SDFs) have become pivotal in computer vision for reconstructing detailed object shapes from sparse views. Achieving optimal performance with these models can be challenging due to the extreme sparsity of inputs and distribution shifts induced by data corruptions. To this end, large, noise-free synthetic datasets can serve as shape priors to help models fill in gaps, but the resulting reconstructions must be approached with caution. Uncertainty estimation is crucial for assessing the quality of these reconstructions, particularly in identifying areas where the model is uncertain about the parts it has inferred from the prior. In this paper, we introduce Dropsembles, a novel method for uncertainty estimation in tuned implicit functions. We demonstrate the efficacy of our approach through a series of experiments, starting with toy examples and progressing to a real-world scenario. Specifically, we train a Convolutional Occupancy Network on synthetic anatomical data and test it on low-resolution MRI segmentations of the lumbar spine. Our results show that Dropsembles achieve the accuracy and calibration levels of deep ensembles but with significantly less computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google