GANESH: Generalizable NeRF for Lensless Imaging

要約

レンズレスイメージングは​​、従来のかさばるレンズシステムを取り除くことにより、超小型カメラを開発する重要な機会を提供します。
ただし、集束要素がなければ、センサーの出力は直接の画像ではなく、複雑な多重化されたシーン表現になります。
従来の方法では、学習可能な反転モデルと改良モデルを採用することでこの課題に対処しようと試みてきましたが、これらの方法は主に 2D 再構成用に設計されており、3D 再構成にはあまり一般化できません。
多視点のレンズレス画像からの洗練と新規ビューの合成を同時に可能にするように設計された新しいフレームワークである GANESH を紹介します。
シーン固有のトレーニングを必要とする既存の方法とは異なり、私たちのアプローチは、各シーンで再トレーニングすることなく、オンザフライ推論をサポートします。
さらに、私たちのフレームワークにより、モデルを特定のシーンに合わせて調整することができ、レンダリングと洗練の品質が向上します。
この分野の研究を促進するために、最初のマルチビュー レンズレス データセットである LenslessScenes も紹介します。
広範な実験により、私たちの方法が再構築の精度と洗練の品質において現在のアプローチよりも優れていることが実証されています。
コードとビデオの結果は、https://rakesh-123-cryp.github.io/Rakesh.github.io/ で入手できます。

要約(オリジナル)

Lensless imaging offers a significant opportunity to develop ultra-compact cameras by removing the conventional bulky lens system. However, without a focusing element, the sensor’s output is no longer a direct image but a complex multiplexed scene representation. Traditional methods have attempted to address this challenge by employing learnable inversions and refinement models, but these methods are primarily designed for 2D reconstruction and do not generalize well to 3D reconstruction. We introduce GANESH, a novel framework designed to enable simultaneous refinement and novel view synthesis from multi-view lensless images. Unlike existing methods that require scene-specific training, our approach supports on-the-fly inference without retraining on each scene. Moreover, our framework allows us to tune our model to specific scenes, enhancing the rendering and refinement quality. To facilitate research in this area, we also present the first multi-view lensless dataset, LenslessScenes. Extensive experiments demonstrate that our method outperforms current approaches in reconstruction accuracy and refinement quality. Code and video results are available at https://rakesh-123-cryp.github.io/Rakesh.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google