YCB-Ev 1.1: Event-vision dataset for 6DoF object pose estimation

要約

私たちの研究では、これらのモダリティを使用して 6DoF オブジェクトの姿勢推定アルゴリズムを評価できるようにする、同期された RGB-D フレームとイベント データを含む YCB-Ev データセットを紹介します。
このデータセットは、YCB-Video (YCB-V) データセットで使用されたものと同じ 21 個の YCB オブジェクトに対するグラウンド トゥルース 6DoF オブジェクト ポーズを提供し、データセット間のアルゴリズムのパフォーマンス評価を可能にします。
データセットは 21 の同期されたイベントおよび RGB-D シーケンスで構成され、合計 13,851 フレーム (7 分 43 秒のイベント データ) になります。
特に、これらのシーケンスのうち 12 個は、BOP チャレンジで使用された YCB-V サブセットと同じオブジェクト配置を特徴としています。
グラウンド トゥルース ポーズは、RGB-D フレーム内のオブジェクトを検出し、イベント タイムスタンプに合わせてポーズを補間し、外部キャリブレーションを使用してイベント座標フレームに転送することによって生成されます。
私たちのデータセットは、イベント ストリームのグラウンド トゥルース 6DoF ポーズ データを提供する最初のデータセットです。
さらに、新しい YCB-V シーケンスを使用して、BOP チャレンジ用に事前トレーニングされた 2 つの最先端のアルゴリズムの一般化機能を評価します。
データセットは https://github.com/paroj/ycbev で公開されています。

要約(オリジナル)

Our work introduces the YCB-Ev dataset, which contains synchronized RGB-D frames and event data that enables evaluating 6DoF object pose estimation algorithms using these modalities. This dataset provides ground truth 6DoF object poses for the same 21 YCB objects that were used in the YCB-Video (YCB-V) dataset, allowing for cross-dataset algorithm performance evaluation. The dataset consists of 21 synchronized event and RGB-D sequences, totalling 13,851 frames (7 minutes and 43 seconds of event data). Notably, 12 of these sequences feature the same object arrangement as the YCB-V subset used in the BOP challenge. Ground truth poses are generated by detecting objects in the RGB-D frames, interpolating the poses to align with the event timestamps, and then transferring them to the event coordinate frame using extrinsic calibration. Our dataset is the first to provide ground truth 6DoF pose data for event streams. Furthermore, we evaluate the generalization capabilities of two state-of-the-art algorithms, which were pre-trained for the BOP challenge, using our novel YCB-V sequences. The dataset is publicly available at https://github.com/paroj/ycbev.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google