Dynamic Hyperbolic Attention Network for Fine Hand-object Reconstruction

要約

単一の RGB 画像から物体と手の両方を 3D で再構築するのは複雑です。
既存の手法は、ユークリッド空間で手動で定義されたハンドオブジェクト制約に依存しており、最適化されていない特徴学習を引き起こします。
ユークリッド空間と比較して、双曲空間では、空間距離が指数関数的に増加するため、メッシュの幾何学的特性がよりよく保存され、類似性に基づいてフィーチャ間の差異が増幅されます。
この研究では、双曲空間における最初の正確な手のオブジェクトの再構成方法、すなわち、双曲空間の固有の特性を利用して代表的な特徴を学習する動的双曲アテンション ネットワーク (DHANet) を提案します。
メッシュと画像の特徴を統一双曲空間に投影する私たちの方法には、2 つのモジュールが含まれています。
動的双曲線グラフ畳み込みと画像注意双曲線グラフ畳み込み。
これら 2 つのモジュールを使用して、私たちの方法は豊富なジオメトリ画像のマルチモーダル情報を使用してメッシュの特徴を学習し、より適切な手とオブジェクトのインタラクションをモデル化します。
私たちの方法は、双曲空間における手のオブジェクトの微細な再構成に有望な代替手段を提供します。
3 つの公開データセットに対する広範な実験により、私たちの方法がほとんどの最先端の方法よりも優れていることが実証されました。

要約(オリジナル)

Reconstructing both objects and hands in 3D from a single RGB image is complex. Existing methods rely on manually defined hand-object constraints in Euclidean space, leading to suboptimal feature learning. Compared with Euclidean space, hyperbolic space better preserves the geometric properties of meshes thanks to its exponentially-growing space distance, which amplifies the differences between the features based on similarity. In this work, we propose the first precise hand-object reconstruction method in hyperbolic space, namely Dynamic Hyperbolic Attention Network (DHANet), which leverages intrinsic properties of hyperbolic space to learn representative features. Our method that projects mesh and image features into a unified hyperbolic space includes two modules, ie. dynamic hyperbolic graph convolution and image-attention hyperbolic graph convolution. With these two modules, our method learns mesh features with rich geometry-image multi-modal information and models better hand-object interaction. Our method provides a promising alternative for fine hand-object reconstruction in hyperbolic space. Extensive experiments on three public datasets demonstrate that our method outperforms most state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google