Learning to See Through with Events

要約

合成開口画像法（SAI）は、多視点画像から焦点の合っていない前景のオクルージョンをぼかしながら、焦点の合ったオクルージョンを回復することにより、シーイングスルー効果を得ることができるが、密集したオクルージョンや極端な照明条件により性能が低下することが多い。そこで、本論文では、イベントカメラで取得される極めて低遅延かつ高ダイナミックレンジの非同期イベントに依存するイベントベースSAI（E-SAI）手法を提案する。具体的には、まず、収集したイベントをRefocus-Netモジュールによって再フォーカスし、焦点の合ったイベントを整列させ、焦点の外れたイベントを散乱させる。その後、スパイク型ニューラルネットワーク（SNN）と畳み込み型ニューラルネットワーク（CNN）からなるハイブリッドネットワークにより、リフォーカスされたイベントから時空間情報を符号化し、オクルージョンされたターゲットの視覚画像を再構成することを提案する。提案するE-SAI法は、非常に濃いオクルージョンや極端な照明条件に対して顕著な性能を達成し、純粋なイベントから高品質の画像を生成できることを、広範な実験により実証している。コードとデータセットは https://dvs-whu.cn/projects/esai/ で公開されています。

要約(オリジナル)

Although synthetic aperture imaging (SAI) can achieve the seeing-through effect by blurring out off-focus foreground occlusions while recovering in-focus occluded scenes from multi-view images, its performance is often deteriorated by dense occlusions and extreme lighting conditions. To address the problem, this paper presents an Event-based SAI (E-SAI) method by relying on the asynchronous events with extremely low latency and high dynamic range acquired by an event camera. Specifically, the collected events are first refocused by a Refocus-Net module to align in-focus events while scattering out off-focus ones. Following that, a hybrid network composed of spiking neural networks (SNNs) and convolutional neural networks (CNNs) is proposed to encode the spatio-temporal information from the refocused events and reconstruct a visual image of the occluded targets. Extensive experiments demonstrate that our proposed E-SAI method can achieve remarkable performance in dealing with very dense occlusions and extreme lighting conditions and produce high-quality images from pure events. Codes and datasets are available at https://dvs-whu.cn/projects/esai/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL