TransPoser: Transformer as an Optimizer for Joint Object Shape and Pose Estimation

要約

逐次的に観察されたRGB-D画像から剛体の形状と姿勢を共同推定するための新しい方法を提案します。
複雑な非線形最適化に依存する過去のアプローチとは対照的に、形状と姿勢を効率的に推定することを学習するニューラル最適化として定式化することを提案します。
2D 画像空間での効率的な誤差計算のために、カメラの視点と視線方向が与えられたオブジェクトの深度画像を直接出力するニューラル ネットワークである Deep Directional Distance Function (DeepDDF) を導入します。
共同推定自体を、TransPoser と呼ばれる Transformer として定式化します。
トークン化とマルチヘッドアテンションを十分に活用して、増大する一連の観測を順次処理し、形状とポーズをそれぞれ学習した勢いで効率的に更新します。
合成データと実際のデータに関する実験結果は、DeepDDF がカテゴリ レベルのオブジェクト形状表現として高い精度を達成し、TransPoser が関節の形状と姿勢の推定で最先端の精度を効率的に達成することを示しています。

要約(オリジナル)

We propose a novel method for joint estimation of shape and pose of rigid objects from their sequentially observed RGB-D images. In sharp contrast to past approaches that rely on complex non-linear optimization, we propose to formulate it as a neural optimization that learns to efficiently estimate the shape and pose. We introduce Deep Directional Distance Function (DeepDDF), a neural network that directly outputs the depth image of an object given the camera viewpoint and viewing direction, for efficient error computation in 2D image space. We formulate the joint estimation itself as a Transformer which we refer to as TransPoser. We fully leverage the tokenization and multi-head attention to sequentially process the growing set of observations and to efficiently update the shape and pose with a learned momentum, respectively. Experimental results on synthetic and real data show that DeepDDF achieves high accuracy as a category-level object shape representation and TransPoser achieves state-of-the-art accuracy efficiently for joint shape and pose estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google