TPT-Bench: A Large-Scale, Long-Term and Robot-Egocentric Dataset for Benchmarking Target Person Tracking

要約

ロボット – エコセントリックビューからターゲットパーソンを追跡することは、人間とロボットの相互作用（HRI）および具体化されたAIにおける継続的なパーソナライズされた支援またはコラボレーションを提供する自律的なロボットを開発するために重要です。
ただし、ほとんどの既存のターゲットパーソントラッキング（TPT）ベンチマークは、気を散らすもの、清潔な背景、短期閉塞が少ない制御された実験室環境に限定されています。
このホワイトペーパーでは、Robot-Personの次のタスクを通じて実証された混雑した構造化されていない環境でTPT向けに設計された大規模なデータセットを紹介します。
データセットは、ターゲットの人を追跡しながらセンサー装備のカートを押し、人間のような動作をキャプチャし、頻繁な閉塞や多数の歩行者からの再識別の必要性を含む長期追跡の課題を強調しながら、人間によって収集されます。
これには、odometry、3D Lidar、IMU、Panoptic、およびRGB-D画像などのマルチモーダルデータストリームと、屋内と屋外の両方の35のシーケンスにわたってターゲット担当者の2D境界ボックスが徹底的に注釈された2D境界ボックスが含まれています。
このデータセットと視覚的な注釈を使用して、既存のTPTメソッドを使用した広範な実験を実行し、それらの制限の徹底的な分析を提供し、将来の研究の方向性を提案します。

要約(オリジナル)

Tracking a target person from robot-egocentric views is crucial for developing autonomous robots that provide continuous personalized assistance or collaboration in Human-Robot Interaction (HRI) and Embodied AI. However, most existing target person tracking (TPT) benchmarks are limited to controlled laboratory environments with few distractions, clean backgrounds, and short-term occlusions. In this paper, we introduce a large-scale dataset designed for TPT in crowded and unstructured environments, demonstrated through a robot-person following task. The dataset is collected by a human pushing a sensor-equipped cart while following a target person, capturing human-like following behavior and emphasizing long-term tracking challenges, including frequent occlusions and the need for re-identification from numerous pedestrians. It includes multi-modal data streams, including odometry, 3D LiDAR, IMU, panoptic, and RGB-D images, along with exhaustively annotated 2D bounding boxes of the target person across 35 sequences, both indoors and outdoors. Using this dataset and visual annotations, we perform extensive experiments with existing TPT methods, offering a thorough analysis of their limitations and suggesting future research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google