YOLOPose V2: Understanding and Improving Transformer-based 6D Pose Estimation

要約

6D オブジェクトの姿勢推定は、自律ロボット操作アプリケーションの重要な前提条件です。
姿勢推定のための最先端のモデルは、畳み込みニューラル ネットワーク (CNN) ベースです。
最近では、もともと自然言語処理のために提案されたアーキテクチャである Transformers が、多くのコンピュータ ビジョン タスクでも最先端の結果を達成しています。
マルチヘッド セルフ アテンション メカニズムを備えた Transformers により、物体検出と 6D 物体姿勢推定を共同で学習するためのシンプルな 1 段階のエンドツーエンド アーキテクチャが可能になります。
この研究では、キーポイント回帰と YOLOPose モデルの改良版に基づく Transformer ベースのマルチオブジェクト 6D ポーズ推定方法である YOLOPose (You Only Look Once Poseestimate の短縮形) を提案します。
画像内のキーポイントを予測するための標準的なヒートマップとは対照的に、キーポイントを直接回帰します。
さらに、学習可能な方向推定モジュールを採用して、キーポイントから方向を予測します。
別個の翻訳推定モジュールと併用すると、私たちのモデルはエンドツーエンドで微分可能です。
私たちの方法はリアルタイムアプリケーションに適しており、最先端の方法に匹敵する結果を達成します。
私たちのアーキテクチャにおけるオブジェクト クエリの役割を分析し、オブジェクト クエリが特定の画像領域内のオブジェクトの検出に特化していることを明らかにしました。
さらに、モデルのトレーニングに小さいサイズのデータ​​セットを使用する場合の精度のトレードオフを定量化します。

要約(オリジナル)

6D object pose estimation is a crucial prerequisite for autonomous robot manipulation applications. The state-of-the-art models for pose estimation are convolutional neural network (CNN)-based. Lately, Transformers, an architecture originally proposed for natural language processing, is achieving state-of-the-art results in many computer vision tasks as well. Equipped with the multi-head self-attention mechanism, Transformers enable simple single-stage end-to-end architectures for learning object detection and 6D object pose estimation jointly. In this work, we propose YOLOPose (short form for You Only Look Once Pose estimation), a Transformer-based multi-object 6D pose estimation method based on keypoint regression and an improved variant of the YOLOPose model. In contrast to the standard heatmaps for predicting keypoints in an image, we directly regress the keypoints. Additionally, we employ a learnable orientation estimation module to predict the orientation from the keypoints. Along with a separate translation estimation module, our model is end-to-end differentiable. Our method is suitable for real-time applications and achieves results comparable to state-of-the-art methods. We analyze the role of object queries in our architecture and reveal that the object queries specialize in detecting objects in specific image regions. Furthermore, we quantify the accuracy trade-off of using datasets of smaller sizes to train our model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google