PoET: Pose Estimation Transformer for Single-View, Multi-Object 6D Pose Estimation

要約

正確な 6D オブジェクトの姿勢推定は、把持やローカリゼーションなどのさまざまなロボット アプリケーションにとって重要なタスクです。
オブジェクトの対称性、クラッタ、オクルージョンのために困難な作業ですが、深度や 3D モデルなどの追加情報が提供されない場合は、さらに困難になります。
RGB 画像を入力として受け取り、画像内の各オブジェクトの 6D ポーズを予測するトランスフォーマー ベースのアプローチを提示します。
画像以外に、私たちのネットワークは深度マップや 3D オブジェクト モデルなどの追加情報を必要としません。
まず、画像がオブジェクト検出器に渡され、特徴マップが生成され、オブジェクトが検出されます。
次に、特徴マップは、検出されたバウンディング ボックスを追加情報としてトランスフォーマーに供給されます。
その後、出力オブジェクト クエリは、別の変換および回転ヘッドによって処理されます。
困難な YCB-V データセットに対する RGB のみのアプローチで、最先端の結果を達成しています。
得られたモデルが 6-DoF 状態推定タスクのポーズ センサーとして適していることを示します。
コードは https://github.com/aau-cns/poet で入手できます。

要約(オリジナル)

Accurate 6D object pose estimation is an important task for a variety of robotic applications such as grasping or localization. It is a challenging task due to object symmetries, clutter and occlusion, but it becomes more challenging when additional information, such as depth and 3D models, is not provided. We present a transformer-based approach that takes an RGB image as input and predicts a 6D pose for each object in the image. Besides the image, our network does not require any additional information such as depth maps or 3D object models. First, the image is passed through an object detector to generate feature maps and to detect objects. Then, the feature maps are fed into a transformer with the detected bounding boxes as additional information. Afterwards, the output object queries are processed by a separate translation and rotation head. We achieve state-of-the-art results for RGB-only approaches on the challenging YCB-V dataset. We illustrate the suitability of the resulting model as pose sensor for a 6-DoF state estimation task. Code is available at https://github.com/aau-cns/poet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google