SmartDepthSync: Open Source Synchronized Video Recording System of Smartphone RGB and Depth Camera Range Image Frames with Sub-millisecond Precision

要約

現在、スマートフォンは、RGB 画像、慣性測定、およびその他のデータを含む高品質データの同期 (同期) ストリームを生成できます。
そのため、スマートフォンはロボティクス コミュニティで魅力的なセンサー システムになりつつあります。
残念ながら、スマートフォンのセンサーと正確に同期する深度カメラなど、センシング ハードウェアをサポートする外部のニーズがまだあります。
この論文では、異種構造を提示し、相互に同期された視覚、深さ、および慣性データを記録するためのスマートフォンと外部深度カメラを含むハードウェア – ソフトウェア記録システムを提案します。
システムは時間とフレーム レベルで同期されます。スマートフォン カメラからのすべての RGB 画像フレームは、ミリ秒未満の精度の深度カメラ フレームで同時に露出されます。
深度カメラと RGB カメラの任意のペアに適用できる同期パフォーマンス評価の方法とツールを提供します。
私たちのシステムは、オープンソースの資料を使用することで、複製、変更、または拡張することができます。

要約(オリジナル)

Nowadays, smartphones can produce a synchronized (synced) stream of high-quality data, including RGB images, inertial measurements, and other data. Therefore, smartphones are becoming appealing sensor systems in the robotics community. Unfortunately, there is still the need for external supporting sensing hardware, such as a depth camera precisely synced with the smartphone sensors. In this paper, we propose a hardware-software recording system that presents a heterogeneous structure and contains a smartphone and an external depth camera for recording visual, depth, and inertial data that are mutually synchronized. The system is synced at the time and the frame levels: every RGB image frame from the smartphone camera is exposed at the same moment of time with a depth camera frame with sub-millisecond precision. We provide a method and a tool for sync performance evaluation that can be applied to any pair of depth and RGB cameras. Our system could be replicated, modified, or extended by employing our open-sourced materials.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google