HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions

要約

既存の実世界のデータセットには多様性がないため、単一の画像から 3D ハンド メッシュを堅牢に再構築することは非常に困難です。
データ合成はこの問題を軽減するのに役立ちますが、合成と実際のギャップが依然としてその使用を妨げています。
この研究では、ハンド オブジェクトのインタラクションに関する条件付き生成空間をトレーニングし、空間を意図的にサンプリングして効果的なデータ サンプルを合成することで、データの多様性を高め、3D ハンド メッシュ再構成のパフォーマンスを向上させる新しいアプローチである HandBooster を紹介します。
まず、多様な手の外観、ポーズ、ビュー、背景を備えたリアルな画像を生成するように拡散モデルをガイドする、多用途のコンテンツ認識条件を構築します。
有利なことに、正確な 3D 注釈が無料で取得できます。
次に、類似性を意識した分布サンプリング戦略に基づいて新しい条件クリエーターを設計し、トレーニング セットとは異なる斬新で現実的な相互作用ポーズを意図的に見つけます。
私たちの手法を導入すると、HO3D および DexYCB ベンチマークで SOTA を超えていくつかのベースラインを大幅に改善できます。
私たちのコードは https://github.com/hxwork/HandBooster_Pytorch でリリースされます。

要約(オリジナル)

Reconstructing 3D hand mesh robustly from a single image is very challenging, due to the lack of diversity in existing real-world datasets. While data synthesis helps relieve the issue, the syn-to-real gap still hinders its usage. In this work, we present HandBooster, a new approach to uplift the data diversity and boost the 3D hand-mesh reconstruction performance by training a conditional generative space on hand-object interactions and purposely sampling the space to synthesize effective data samples. First, we construct versatile content-aware conditions to guide a diffusion model to produce realistic images with diverse hand appearances, poses, views, and backgrounds; favorably, accurate 3D annotations are obtained for free. Then, we design a novel condition creator based on our similarity-aware distribution sampling strategies to deliberately find novel and realistic interaction poses that are distinctive from the training set. Equipped with our method, several baselines can be significantly improved beyond the SOTA on the HO3D and DexYCB benchmarks. Our code will be released on https://github.com/hxwork/HandBooster_Pytorch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google