bit2bit: 1-bit quanta video reconstruction via self-supervised photon prediction

要約

SPAD アレイなどの Quanta イメージ センサーは、数ナノ秒という短い露光で光子検出イベントを表す 1 ビット アレイを生成する新しいセンサー テクノロジーです。
実際には、生データは、時空間解像度の低下を犠牲にして、より有用で解釈可能な画像を作成するために、高度な時空間ビニングを使用して後処理されます。
この研究では、疎な 2 値量子画像データから元の時空間解像度で高品質の画像スタックを再構成する新しい方法である bit2bit を提案します。
ポアソンノイズ除去に関する最近の研究に触発され、光子の到着位置の確率分布を予測することで、まばらなバイナリ光子データから高密度の画像シーケンスを作成するアルゴリズムを開発しました。
ただし、データのバイナリの性質により、ポアソン分布の仮定が不適切であることを示します。
代わりに、切り捨てられたポアソンからのベルヌーイ格子プロセスを使用してプロセスをモデル化します。
これは、マスクされた損失関数に基づく新しい自己教師ありソリューションの提案につながります。
シミュレーションデータと実際のデータの両方を使用してメソッドを評価します。
従来のビデオからのシミュレートされたデータでは、非常に光子が少ないバイナリ入力 (フレームあたりピクセルあたり <0.06 光子) で 34.35 の平均 PSNR を達成しました。 また、さまざまな困難なイメージング条件下での広範な実際の SPAD 高速ビデオを含む新しいデータセットも紹介します。 シーンには、強い/弱い周囲光、強い動き、超高速イベントなどが含まれており、これらはコミュニティに公開され、私たちのアプローチの有望性を実証します。 再構成の品質とスループットはいずれも、最先端の方法 (例: Quanta Burst Photography (QBP)) を大幅に上回っています。 私たちのアプローチはデータの視覚化と使いやすさを大幅に強化し、既存の分析技術の適用を可能にします。

要約(オリジナル)

Quanta image sensors, such as SPAD arrays, are an emerging sensor technology, producing 1-bit arrays representing photon detection events over exposures as short as a few nanoseconds. In practice, raw data are post-processed using heavy spatiotemporal binning to create more useful and interpretable images at the cost of degrading spatiotemporal resolution. In this work, we propose bit2bit, a new method for reconstructing high-quality image stacks at the original spatiotemporal resolution from sparse binary quanta image data. Inspired by recent work on Poisson denoising, we developed an algorithm that creates a dense image sequence from sparse binary photon data by predicting the photon arrival location probability distribution. However, due to the binary nature of the data, we show that the assumption of a Poisson distribution is inadequate. Instead, we model the process with a Bernoulli lattice process from the truncated Poisson. This leads to the proposal of a novel self-supervised solution based on a masked loss function. We evaluate our method using both simulated and real data. On simulated data from a conventional video, we achieve 34.35 mean PSNR with extremely photon-sparse binary input (<0.06 photons per pixel per frame). We also present a novel dataset containing a wide range of real SPAD high-speed videos under various challenging imaging conditions. The scenes cover strong/weak ambient light, strong motion, ultra-fast events, etc., which will be made available to the community, on which we demonstrate the promise of our approach. Both reconstruction quality and throughput substantially surpass the state-of-the-art methods (e.g., Quanta Burst Photography (QBP)). Our approach significantly enhances the visualization and usability of the data, enabling the application of existing analysis techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google