Pixel-Aligned Non-parametric Hand Mesh Reconstruction

要約

ノンパラメトリック メッシュ再構築は、最近、手と体の 3D アプリケーションで大きな進歩を遂げています。
これらの方法では、メッシュの頂点とエッジがニューラル ネットワークに表示されるため、2D 画像のピクセルと 3D メッシュの頂点の間の直接マッピングを確立できます。
このホワイトペーパーでは、シンプルでコンパクトなアーキテクチャでこのマッピングを確立して活用しようとしています。
ネットワークは、次の点を考慮して設計されています。1) エンコーダーからのローカル 2D 画像特徴と、メッシュ デコーダーでキャプチャされた 3D 幾何学的特徴の両方を集約します。
2) 階層的なマルチスケール情報を最大限に活用するために、デコード層に沿って粗いメッシュから細かいメッシュまでをデコードします。
具体的には、マルチスケール機能マップを構築する 2D 機能エクストラクタ、3D-to を介してローカル 2D 画像機能を 3D 頂点機能に変換する機能マッピング モジュールの 3 つのフェーズで構成されるハンド メッシュ回復タスクのエンドツーエンド パイプラインを提案します。
-2D プロジェクション、およびグラフ畳み込みと自己注意を組み合わせてメッシュを再構築するメッシュ デコーダ。
デコーダーは、ピクセル単位のローカル画像特徴と頂点単位の幾何学的特徴の両方を集約します。
また、マルチスケール情報を活用できるように、粗いものから細かいものへとメッシュの頂点を回帰させます。
ローカル接続を活用し、メッシュ デコーダーを設計することにより、私たちのアプローチは、パブリック FreiHAND データセットでハンド メッシュ再構築の最先端を実現します。

要約(オリジナル)

Non-parametric mesh reconstruction has recently shown significant progress in 3D hand and body applications. In these methods, mesh vertices and edges are visible to neural networks, enabling the possibility to establish a direct mapping between 2D image pixels and 3D mesh vertices. In this paper, we seek to establish and exploit this mapping with a simple and compact architecture. The network is designed with these considerations: 1) aggregating both local 2D image features from the encoder and 3D geometric features captured in the mesh decoder; 2) decoding coarse-to-fine meshes along the decoding layers to make the best use of the hierarchical multi-scale information. Specifically, we propose an end-to-end pipeline for hand mesh recovery tasks which consists of three phases: a 2D feature extractor constructing multi-scale feature maps, a feature mapping module transforming local 2D image features to 3D vertex features via 3D-to-2D projection, and a mesh decoder combining the graph convolution and self-attention to reconstruct mesh. The decoder aggregate both local image features in pixels and geometric features in vertices. It also regresses the mesh vertices in a coarse-to-fine manner, which can leverage multi-scale information. By exploiting the local connection and designing the mesh decoder, Our approach achieves state-of-the-art for hand mesh reconstruction on the public FreiHAND dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google