Learning to Estimate the Pose of a Peer Robot in a Camera Image by Predicting the States of its LEDs

要約

ロボットが体のさまざまな部分に配置された独立した制御可能な LED を備えている場合に、カメラ画像が与えられたロボットの相対的な 6D 姿勢を推定するために完全畳み込みネットワークをトレーニングする問題を検討します。
トレーニング データは、グラウンド トゥルースの相対ポーズでラベル付けされた少数 (またはゼロ) の画像と、各ピア LED の真の状態 (\textsc{on} または \textsc{off}) のみでラベル付けされた多数の画像で構成されます。
前者のデータは取得に費用がかかり、2 台のロボットを追跡するための外部インフラストラクチャが必要です。
後者は、無線経由で実際の LED 状態を共有しながら、ランダムに移動して LED を切り替える 2 台の監視されていないロボットによって取得できるため、安価です。
後者のデータセットを使用してピアロボットの LED の状態を推定するトレーニング (\emph{pretext task}) は、相対位置推定タスク (\emph{end task}) の学習を促進します。
2 台の自律車輪型ロボットによって取得された現実世界のデータに関する実験では、口実タスクのみでトレーニングされたモデルが、画像平面上でピア ロボットの位置を特定する方法を首尾よく学習することが示されました。
ラベル付き画像がほとんどない最終タスクでこのようなモデルを微調整すると、プレテキストタスクの事前トレーニングや代替アプローチを使用しないベースラインと比較して、6D 相対姿勢推定が統計的に有意に向上します。
複数の独立した LED の状態を推定することで、相対的な方位を推定する学習が促進されます。
このアプローチは、トレーニング画像の大部分にピア ロボットが含まれていない場合でも機能し、目に見えない環境にも十分に一般化されます。

要約(オリジナル)

We consider the problem of training a fully convolutional network to estimate the relative 6D pose of a robot given a camera image, when the robot is equipped with independent controllable LEDs placed in different parts of its body. The training data is composed by few (or zero) images labeled with a ground truth relative pose and many images labeled only with the true state (\textsc{on} or \textsc{off}) of each of the peer LEDs. The former data is expensive to acquire, requiring external infrastructure for tracking the two robots; the latter is cheap as it can be acquired by two unsupervised robots moving randomly and toggling their LEDs while sharing the true LED states via radio. Training with the latter dataset on estimating the LEDs’ state of the peer robot (\emph{pretext task}) promotes learning the relative localization task (\emph{end task}). Experiments on real-world data acquired by two autonomous wheeled robots show that a model trained only on the pretext task successfully learns to localize a peer robot on the image plane; fine-tuning such model on the end task with few labeled images yields statistically significant improvements in 6D relative pose estimation with respect to baselines that do not use pretext-task pre-training, and alternative approaches. Estimating the state of multiple independent LEDs promotes learning to estimate relative heading. The approach works even when a large fraction of training images do not include the peer robot and generalizes well to unseen environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google