A Double Deep Learning-based Solution for Efficient Event Data Coding and Classification

要約

イベントカメラには、「イベント」と呼ばれる非同期の輝度変化をキャプチャする機能があり、コンピュータービジョンアプリケーション向けの従来のフレームベースのカメラよりも利点を提供します。
イベントのかなりの量を考えると、イベントデータを効率的にコーディングすることは、伝送とストレージに重要です。
このペーパーでは、イベントのポイントクラウドベースの表現を使用して、イベントデータのコーディングと分類の両方について、新しい二重ディープ学習ベースのアーキテクチャを提案します。
これに関連して、イベントからポイントクラウドへの変換は、提案されたソリューションの重要なステップであるため、その影響は圧縮と分類パフォーマンスの観点から評価されます。
実験結果は、明確なレート削減を伴う最近の学習ベースのJPEGプレノポイントクラウドコーディング標準、特に最近の学習ベースのJPEGプレノポイントクラウドコーディング標準を適用した後でも、元のイベントの1つに似た圧縮イベントの分類パフォーマンスを達成できることを示しています。
また、実験結果は、JPEG PCCを使用してコード化されたイベントが、従来の損失のあるMPEGジオメトリベースのポイントクラウドコーディング標準を使用してコード化されたパフォーマンスよりも優れた分類パフォーマンスを実現することを示しています。
さらに、学習ベースのコーディングの採用は、圧縮ドメインでコンピュータービジョンタスクを実行する可能性が高いため、コーディングアーティファクトの影響を軽減しながらデコード段階をスキップできるようになります。

要約(オリジナル)

Event cameras have the ability to capture asynchronous per-pixel brightness changes, called ‘events’, offering advantages over traditional frame-based cameras for computer vision applications. Efficiently coding event data is critical for transmission and storage, given the significant volume of events. This paper proposes a novel double deep learning-based architecture for both event data coding and classification, using a point cloud-based representation for events. In this context, the conversions from events to point clouds and back to events are key steps in the proposed solution, and therefore its impact is evaluated in terms of compression and classification performance. Experimental results show that it is possible to achieve a classification performance of compressed events which is similar to one of the original events, even after applying a lossy point cloud codec, notably the recent learning-based JPEG Pleno Point Cloud Coding standard, with a clear rate reduction. Experimental results also demonstrate that events coded using JPEG PCC achieve better classification performance than those coded using the conventional lossy MPEG Geometry-based Point Cloud Coding standard. Furthermore, the adoption of learning-based coding offers high potential for performing computer vision tasks in the compressed domain, which allows skipping the decoding stage while mitigating the impact of coding artifacts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google