Towards End-to-End Neuromorphic Voxel-based 3D Object Reconstruction Without Physical Priors

要約

イベントカメラとも呼ばれる神経型カメラは、モーションブラーに苦しむことなく非常に高速な動きをキャプチャできる非同期輝度チェンジセンサーであり、極端な環境での3D再建に特に有望です。
ただし、単眼神経型カメラを使用した3D再建に関する既存の研究は限られており、ほとんどの方法は物理的前症の推定に依存し、複雑なマルチステップパイプラインを採用しています。
この作業では、物理的前症を推定する必要性を排除する神経モルフィカメラを使用して、密なボクセル3D再構成のエンドツーエンドの方法を提案します。
この方法には、エッジ機能を強化するための新しいイベント表現が組み込まれており、提案された機能強化モデルがより効果的に学習できるようにします。
さらに、ベンチマークとしてしきい値の最適化で達成された最適な再構成結果を使用して、将来の関連作業のガイドラインとして最適なバイナリゼーションしきい値選択原則を導入しました。
私たちの方法は、ベースライン法と比較して、再構築の精度が54.6％改善されます。

要約(オリジナル)

Neuromorphic cameras, also known as event cameras, are asynchronous brightness-change sensors that can capture extremely fast motion without suffering from motion blur, making them particularly promising for 3D reconstruction in extreme environments. However, existing research on 3D reconstruction using monocular neuromorphic cameras is limited, and most of the methods rely on estimating physical priors and employ complex multi-step pipelines. In this work, we propose an end-to-end method for dense voxel 3D reconstruction using neuromorphic cameras that eliminates the need to estimate physical priors. Our method incorporates a novel event representation to enhance edge features, enabling the proposed feature-enhancement model to learn more effectively. Additionally, we introduced Optimal Binarization Threshold Selection Principle as a guideline for future related work, using the optimal reconstruction results achieved with threshold optimization as the benchmark. Our method achieves a 54.6% improvement in reconstruction accuracy compared to the baseline method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google