People Tracking in Panoramic Video for Guiding Robots

要約

ガイドロボットの目的は、未知の環境において、特定の場所と人を効率的に行き来させることである。この際、ロボットは同行者を検知・追跡し、決して見失わないようにしなければならない。このような事態を最小化するためのソリューションとして、全方位カメラを使用します。視野角（FoV）は、フレーム化されたオブジェクトが、センサーに遮蔽されていないか、非常に遠くにある場合には、FoVを離れることができないことを保証しています。しかし、パノラマ映像は、処理すべき画像のサイズが大きいこと、円筒投影による歪み効果、パノラマ映像の周期性など、人物検出や追跡などの知覚タスクに新たな課題をもたらす。本論文では、元々透視カメラ用に設計された標準的な人物検出・追跡パイプラインをパノラマ映像に効果的に適応させるための、一連のターゲット手法を提案します。我々の手法は、市販の360度カメラを用いた深層学習ベースの人物検出・追跡フレームワーク内に実装され、テストされている。ガイドロボットのアプリケーションのために特別に取得したデータセットと実際のサービスロボットで行った実験では、他の最先端のシステムに対する提案手法の有効性を示している。本論文では、取得され注釈されたデータセットと、我々の手法のオープンソースの実装を公開する。

要約(オリジナル)

A guiding robot aims to effectively bring people to and from specific places within environments that are possibly unknown to them. During this operation the robot should be able to detect and track the accompanied person, trying never to lose sight of her/him. A solution to minimize this event is to use an omnidirectional camera: its 360{\deg} Field of View (FoV) guarantees that any framed object cannot leave the FoV if not occluded or very far from the sensor. However, the acquired panoramic videos introduce new challenges in perception tasks such as people detection and tracking, including the large size of the images to be processed, the distortion effects introduced by the cylindrical projection and the periodic nature of panoramic images. In this paper, we propose a set of targeted methods that allow to effectively adapt to panoramic videos a standard people detection and tracking pipeline originally designed for perspective cameras. Our methods have been implemented and tested inside a deep learning-based people detection and tracking framework with a commercial 360{\deg} camera. Experiments performed on datasets specifically acquired for guiding robot applications and on a real service robot show the effectiveness of the proposed approach over other state-of-the-art systems. We release with this paper the acquired and annotated datasets and the open-source implementation of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL