Hand-Object Interaction Image Generation

要約

この作業では、新しいタスク、つまり、手とオブジェクトの相互作用画像の生成に専念しています。これは、指定された手、オブジェクト、およびそれらの相互作用状態の下で、条件付きで手とオブジェクトの画像を生成することを目的としています。
このタスクは挑戦的であり、AR/VR ゲームやオンライン ショッピングなど、多くの潜在的なアプリケーション シナリオで研究する価値があります。この問題に対処するために、表現力豊かなモデル認識ハンド オブジェクト表現と
固有のトポロジーを活用して、統一された表面空間を構築します。
この空間では、相互作用中の複雑な自己閉塞と相互閉塞を明示的に考慮します。
最終的な画像合成では、手とオブジェクトのさまざまな特性を考慮し、分割して結合する方法で目的の画像を生成します。
評価のために、生成された画像の忠実度と構造保存の両方にアクセスするための包括的なプロトコルを構築します。
2 つの大規模なデータセット、つまり HO3Dv3 と DexYCB に関する広範な実験は、定量的および定性的にフレームワークの有効性と優位性を示しています。
プロジェクト ページは https://play-with-hoi-generation.github.io/ にあります。

要約(オリジナル)

In this work, we are dedicated to a new task, i.e., hand-object interaction image generation, which aims to conditionally generate the hand-object image under the given hand, object and their interaction status. This task is challenging and research-worthy in many potential application scenarios, such as AR/VR games and online shopping, etc. To address this problem, we propose a novel HOGAN framework, which utilizes the expressive model-aware hand-object representation and leverages its inherent topology to build the unified surface space. In this space, we explicitly consider the complex self- and mutual occlusion during interaction. During final image synthesis, we consider different characteristics of hand and object and generate the target image in a split-and-combine manner. For evaluation, we build a comprehensive protocol to access both the fidelity and structure preservation of the generated image. Extensive experiments on two large-scale datasets, i.e., HO3Dv3 and DexYCB, demonstrate the effectiveness and superiority of our framework both quantitatively and qualitatively. The project page is available at https://play-with-hoi-generation.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google