Towards Semantic 3D Hand-Object Interaction Generation via Functional Text Guidance

要約

ハンドオブジェクト相互作用（HOI）は、人間と環境の基本的なリンクですが、その器用で複雑なポーズがジェスチャー制御に大きな課題をもたらします。
AIとロボット工学の大幅な進歩にもかかわらず、マシンがハンドオブジェクトの相互作用を理解してシミュレートできるようにすることで、機能的な把握タスクのセマンティクスをキャプチャすることはかなりの課題です。
以前の作業は安定した正しい3Dの握りを生成することができますが、それらは、想定されていない把握セマンティクスのために機能的な握りを達成することにはまだ程遠いです。
この課題に対処するために、機能テキストによって駆動される3D HOIを生成するために、革新的な2段階のフレームワーク、機能把握合成ネット（FGS-NET）を提案します。
このフレームワークは、テキスト誘導3Dモデルジェネレーター、機能把握ジェネレーター（FGG）、およびポーズ最適化戦略、機能把握精製機（FGR）で構成されています。
FGGはテキスト入力に基づいて3Dモデルの手とオブジェクトを生成し、FGRはオブジェクトのポーズ近似関数とエネルギー関数を使用してポーズを微調整して、ハンドとオブジェクトの間の相対的な位置が人間の意図と整列し、身体的にもっともらしいものを確保します。
広範な実験は、私たちのアプローチが追加の3D注釈データを必要とせずに正確で高品質のHOI生成を達成することを示しています。

要約(オリジナル)

Hand-object interaction(HOI) is the fundamental link between human and environment, yet its dexterous and complex pose significantly challenges for gesture control. Despite significant advances in AI and robotics, enabling machines to understand and simulate hand-object interactions, capturing the semantics of functional grasping tasks remains a considerable challenge. While previous work can generate stable and correct 3D grasps, they are still far from achieving functional grasps due to unconsidered grasp semantics. To address this challenge, we propose an innovative two-stage framework, Functional Grasp Synthesis Net (FGS-Net), for generating 3D HOI driven by functional text. This framework consists of a text-guided 3D model generator, Functional Grasp Generator (FGG), and a pose optimization strategy, Functional Grasp Refiner (FGR). FGG generates 3D models of hands and objects based on text input, while FGR fine-tunes the poses using Object Pose Approximator and energy functions to ensure the relative position between the hand and object aligns with human intent and remains physically plausible. Extensive experiments demonstrate that our approach achieves precise and high-quality HOI generation without requiring additional 3D annotation data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google