SlimmeRF: Slimmable Radiance Fields

要約

Neural Radiance Field (NeRF) とそのバリアントは、新しいビューの合成と 3D シーンの再構築に成功した方法として最近登場しました。
ただし、現在の NeRF モデルのほとんどは、大きなモデル サイズを使用して高精度を達成するか、精度をトレードオフすることで高いメモリ効率を達成します。
これにより、高精度モデルは低メモリのデバイスに適合しない可能性があり、メモリ効率の高いモデルは高品質の要件を満たさない可能性があるため、単一モデルの適用範囲が制限されます。
この目的を達成するために、スリム化を通じてモデルのサイズと精度の間のテスト時間の即時トレードオフを可能にするモデルである SlimmeRF を紹介します。これにより、モデルがさまざまなコンピューティング予算のシナリオに同時に適したものになります。
これは、トレーニング中にモデルのテンソル表現のランクを段階的に増加させる Tensorial Rank Incrementation (TRaIn) という新しく提案されたアルゴリズムを通じて実現されます。
また、私たちのモデルでは、スパース ビュー シナリオでより効果的なトレードオフが可能であり、場合によってはスリム化された後に高い精度を達成できることも観察しています。
これは、上位ランクに相当するコンポーネントにはフロータなどの誤った情報が格納されやすいためと考えられます。
私たちの実装は https://github.com/Shiran-Yuan/SlimmeRF で入手できます。

要約(オリジナル)

Neural Radiance Field (NeRF) and its variants have recently emerged as successful methods for novel view synthesis and 3D scene reconstruction. However, most current NeRF models either achieve high accuracy using large model sizes, or achieve high memory-efficiency by trading off accuracy. This limits the applicable scope of any single model, since high-accuracy models might not fit in low-memory devices, and memory-efficient models might not satisfy high-quality requirements. To this end, we present SlimmeRF, a model that allows for instant test-time trade-offs between model size and accuracy through slimming, thus making the model simultaneously suitable for scenarios with different computing budgets. We achieve this through a newly proposed algorithm named Tensorial Rank Incrementation (TRaIn) which increases the rank of the model’s tensorial representation gradually during training. We also observe that our model allows for more effective trade-offs in sparse-view scenarios, at times even achieving higher accuracy after being slimmed. We credit this to the fact that erroneous information such as floaters tend to be stored in components corresponding to higher ranks. Our implementation is available at https://github.com/Shiran-Yuan/SlimmeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google