Deep Learning-based Event Data Coding: A Joint Spatiotemporal and Polarity Solution

要約

一般にイベントカメラと呼ばれる神経型視力センサーは、最近、高速で高ダイナミックレンジと低遅延データ収集を必要とするアプリケーションに関連性を獲得しました。
2D画像をキャプチャする従来のフレームベースのカメラとは異なり、イベントカメラは、時空間および極性情報によって構成された非常に高い時間分解能で構成された膨大な数のピクセルレベルイベントを生成し、非常に効率的なコーディングソリューションを必要とします。
既存のソリューションは、主にコンピュータービジョンタスクを含むターゲットユースケースでは歪みが受け入れられないと仮定して、イベントデータのロスレスコーディングに焦点を当てています。
有望なコーディングアプローチは、イベントデータとポイントクラウドの類似性を活用するため、現在のポイントクラウドコーディングソリューションを使用してイベントデータをコードすることができます。通常は、各イベントの極性に2点クラウド表現を採用します。
このホワイトペーパーでは、単一点クラウド表現を採用する新しい損失のあるディープラーニングベースの共同イベントデータコーディング（DL-JEC）ソリューションを提案し、時空間的および極性イベント情報の間の相関を活用できるようにします。
DL-JECは、関連する従来およびDLベースの最先端のイベントデータコーディングソリューションと比較すると、大幅な圧縮性能の向上を達成できます。
さらに、ターゲットコンピュータービジョンタスクのパフォーマンスを損なうことなく、特にイベント分類のために、ロスレスコーディングに関するレートの低下で損失のあるイベントデータコーディングを使用することが可能であることが示されています。
ターゲットタスクに適応した新しい適応ボクセルの二等式戦略の使用により、DL-JECが優れたパフォーマンスに到達できるようになります。

要約(オリジナル)

Neuromorphic vision sensors, commonly referred to as event cameras, have recently gained relevance for applications requiring high-speed, high dynamic range and low-latency data acquisition. Unlike traditional frame-based cameras that capture 2D images, event cameras generate a massive number of pixel-level events, composed by spatiotemporal and polarity information, with very high temporal resolution, thus demanding highly efficient coding solutions. Existing solutions focus on lossless coding of event data, assuming that no distortion is acceptable for the target use cases, mostly including computer vision tasks. One promising coding approach exploits the similarity between event data and point clouds, thus allowing to use current point cloud coding solutions to code event data, typically adopting a two-point clouds representation, one for each event polarity. This paper proposes a novel lossy Deep Learning-based Joint Event data Coding (DL-JEC) solution adopting a single-point cloud representation, thus enabling to exploit the correlation between the spatiotemporal and polarity event information. DL-JEC can achieve significant compression performance gains when compared with relevant conventional and DL-based state-of-the-art event data coding solutions. Moreover, it is shown that it is possible to use lossy event data coding with its reduced rate regarding lossless coding without compromising the target computer vision task performance, notably for event classification. The use of novel adaptive voxel binarization strategies, adapted to the target task, further enables DL-JEC to reach a superior performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google