TrackAgent: 6D Object Tracking via Reinforcement Learning

要約

オブジェクト自体または観察カメラが動いている間にオブジェクトの 6D ポーズを追跡することは、多くのロボット工学および拡張現実アプリケーションにとって重要です。
時間的事前情報を活用するとこの問題は軽減されますが、追跡が失われた場合に回復するにはオブジェクト固有の知識が必要です。
追跡タスクの厳しい時間制約の下では、RGB(D) ベースの方法は概念的に複雑であるか、ヒューリスティックな動きモデルに依存していることがよくあります。
比較して、強化された点群 (深さのみ) の位置合わせタスクへのオブジェクト追跡を簡素化することを提案します。
これにより、これまでの研究では多様な RGBD シーケンスの大規模なデータセットが必要でしたが、限られた量のまばらな 3D 点群を使用して、合理化されたアプローチを最初からトレーニングすることができます。
両方の目的を共同で解決する強化学習 (RL) エージェントを使用した、フレームからモデルへの改良によるオブジェクトベースの回復と時間的なフレーム間の登録を組み込みます。
また、RL エージェントの不確実性とレンダリングベースのマスク伝播が効果的な再初期化トリガーであることも示します。

要約(オリジナル)

Tracking an object’s 6D pose, while either the object itself or the observing camera is moving, is important for many robotics and augmented reality applications. While exploiting temporal priors eases this problem, object-specific knowledge is required to recover when tracking is lost. Under the tight time constraints of the tracking task, RGB(D)-based methods are often conceptionally complex or rely on heuristic motion models. In comparison, we propose to simplify object tracking to a reinforced point cloud (depth only) alignment task. This allows us to train a streamlined approach from scratch with limited amounts of sparse 3D point clouds, compared to the large datasets of diverse RGBD sequences required in previous works. We incorporate temporal frame-to-frame registration with object-based recovery by frame-to-model refinement using a reinforcement learning (RL) agent that jointly solves for both objectives. We also show that the RL agent’s uncertainty and a rendering-based mask propagation are effective reinitialization triggers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google