3DArticCyclists: Generating Simulated Dynamic 3D Cyclists for Human-Object Interaction (HOI) and Autonomous Driving Applications

要約

人間とオブジェクトのインタラクション (HOI) と人間とシーンのインタラクション (HSI) は、身体性人工知能 (EAI)、ロボット工学、拡張現実 (AR) における人間中心のシーン理解アプリケーションにとって重要です。
これらの研究分野で直面する一般的な制限は、データ不足の問題です。入力画像上のラベル付けされた人間とシーンのオブジェクトのペアが不十分であり、それらの間の相互作用の複雑さと粒度が限られています。
最近の HOI および HSI メソッドは、剛体との動的な相互作用を生成することでこの問題に対処しています。
しかし、人間のライダーが関節式自転車をこぐなど、より複雑な動的インタラクションはまだ解明されていません。
この制限に対処し、複雑で動的な人間と多関節オブジェクトのインタラクションの研究を可能にするために、この論文では、シミュレートされた 3D 動的なサイクリスト アセットとインタラクションを生成する方法を提案します。
私たちは、NeRF および 3DGS ベースの 3D 再構成手法のトレーニングに使用できる、3DArticBikes と呼ばれる新しいパーツベースのマルチビュー多関節合成 3D 自転車データセットを作成するための方法論を設計しました。
次に、8自由度の姿勢制御可能な3D自転車を組み立てるための、3DGSベースのパラメトリック自転車構成モデルを提案します。
最後に、サイクリストのビデオからの動的情報を使用して、提案された 3D キーポイントを使用してライダーを新しい関節式 3D 自転車の 1 つに自動的に配置しながら、選択可能な合成 3D 人物のポーズを変更することで、完全な合成ダイナミック 3D サイクリスト (自転車をこぐライダー) を構築します。
最適化ベースのインバースキネマティクスによるポーズの調整。
生成されたサイクリストを最近の安定した拡散ベースの方法から生成されたサイクリストと比較する定性的および定量的結果の両方を提示します。

要約(オリジナル)

Human-object interaction (HOI) and human-scene interaction (HSI) are crucial for human-centric scene understanding applications in Embodied Artificial Intelligence (EAI), robotics, and augmented reality (AR). A common limitation faced in these research areas is the data scarcity problem: insufficient labeled human-scene object pairs on the input images, and limited interaction complexity and granularity between them. Recent HOI and HSI methods have addressed this issue by generating dynamic interactions with rigid objects. But more complex dynamic interactions such as a human rider pedaling an articulated bicycle have been unexplored. To address this limitation, and to enable research on complex dynamic human-articulated object interactions, in this paper we propose a method to generate simulated 3D dynamic cyclist assets and interactions. We designed a methodology for creating a new part-based multi-view articulated synthetic 3D bicycle dataset that we call 3DArticBikes that can be used to train NeRF and 3DGS-based 3D reconstruction methods. We then propose a 3DGS-based parametric bicycle composition model to assemble 8-DoF pose-controllable 3D bicycles. Finally, using dynamic information from cyclist videos, we build a complete synthetic dynamic 3D cyclist (rider pedaling a bicycle) by re-posing a selectable synthetic 3D person while automatically placing the rider onto one of our new articulated 3D bicycles using a proposed 3D Keypoint optimization-based Inverse Kinematics pose refinement. We present both, qualitative and quantitative results where we compare our generated cyclists against those from a recent stable diffusion-based method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google