Panoramas from Photons

要約

高速モーションと低照度の存在下でのシーンの再構築は、拡張現実や仮想現実、ドローンナビゲーション、自律ロボット工学などの多くのアプリケーションで重要です。
従来の動き推定技術は、このような状況では機能せず、高速な動きがある場合には過度のブレが発生し、暗い場所では強いノイズが発生します。
シングルフォトンカメラは、その高速性と極めて高い感度により、1 秒あたり数十万のフォトンフレームをキャプチャできる有望なテクノロジーとして最近登場しました。
残念ながら、従来のコンピュータ ビジョン技術は、これらのカメラでキャプチャされたバイナリ値のフォトン データを処理するのにはあまり適していません。これは、これらのデータが極度のポアソン ノイズによって破損しているためです。
ここでは、単一光子カメラで撮影されたものなどの高速画像フレームのシーケンスから、低照度や高ダイナミック レンジなどの困難な条件下での極端なシーンの動きを推定できる方法を紹介します。
私たちの方法は、層別の方法で事後的にフレームをグループ化および集約することにより、動き推定を反復的に改善することに依存しています。
カスタム単一光子カメラのプロトタイプを使用して、速い動きと非常に暗い光の下で高品質のパノラマの作成と超解像度の結果を実証します。
コードと補足資料については、$\href{https://wisionlab.com/project/panoramas-from-photons/}{\text{プロジェクトのウェブページ}}$ をご覧ください。

要約(オリジナル)

Scene reconstruction in the presence of high-speed motion and low illumination is important in many applications such as augmented and virtual reality, drone navigation, and autonomous robotics. Traditional motion estimation techniques fail in such conditions, suffering from too much blur in the presence of high-speed motion and strong noise in low-light conditions. Single-photon cameras have recently emerged as a promising technology capable of capturing hundreds of thousands of photon frames per second thanks to their high speed and extreme sensitivity. Unfortunately, traditional computer vision techniques are not well suited for dealing with the binary-valued photon data captured by these cameras because these are corrupted by extreme Poisson noise. Here we present a method capable of estimating extreme scene motion under challenging conditions, such as low light or high dynamic range, from a sequence of high-speed image frames such as those captured by a single-photon camera. Our method relies on iteratively improving a motion estimate by grouping and aggregating frames after-the-fact, in a stratified manner. We demonstrate the creation of high-quality panoramas under fast motion and extremely low light, and super-resolution results using a custom single-photon camera prototype. For code and supplemental material see our $\href{https://wisionlab.com/project/panoramas-from-photons/}{\text{project webpage}}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google