Self-Modeling Robots by Photographing

要約

セルフモデリングにより、ロボットは、最小限の人間の介入と以前の情報を使用して、自動的に収集できるデータに基づいて、形態と運動学のタスクに依存しないモデルを構築し、それにより機械の知能を高めることができます。
最近の研究では、ロボットの形態と運動学のモデル化におけるデータ駆動型技術の可能性を強調しています。
ただし、既存のセルフモデリング方法は、モデリングの品質が低いか、過剰なデータ収集コストのいずれかに悩まされています。
形態と運動学を超えて、テクスチャはロボットの重要な要素でもあり、モデルをモデル化するのが難しく、未開拓のままです。
この作業では、ロボットセルフモデリングには高品質、テクスチャアウェア、リンクレベルのメソッドが提案されています。
ロボットの静的な形態とテクスチャーを表すために3次元（3D）ガウス人を利用し、3Dガウスをクラスターして神経楕円体の骨を構築します。
3Dガウスおよび運動学的ニューラルネットワークは、深さ情報のない関節角、カメラパラメーター、マルチビュー画像で構成されるデータペアを使用してトレーニングされています。
キネマティックニューラルネットワークにジョイントアングルを供給することにより、よく訓練されたモデルを利用して、リンクレベルでのロボットの対応する形態、運動学、テクスチャーを記述し、3Dガウシアンスプラッティングの助けを借りて異なる視点からロボット画像をレンダリングできます。
さらに、確立されたモデルを悪用して、モーション計画や逆運動学などの下流タスクを実行できることを実証します。

要約(オリジナル)

Self-modeling enables robots to build task-agnostic models of their morphology and kinematics based on data that can be automatically collected, with minimal human intervention and prior information, thereby enhancing machine intelligence. Recent research has highlighted the potential of data-driven technology in modeling the morphology and kinematics of robots. However, existing self-modeling methods suffer from either low modeling quality or excessive data acquisition costs. Beyond morphology and kinematics, texture is also a crucial component of robots, which is challenging to model and remains unexplored. In this work, a high-quality, texture-aware, and link-level method is proposed for robot self-modeling. We utilize three-dimensional (3D) Gaussians to represent the static morphology and texture of robots, and cluster the 3D Gaussians to construct neural ellipsoid bones, whose deformations are controlled by the transformation matrices generated by a kinematic neural network. The 3D Gaussians and kinematic neural network are trained using data pairs composed of joint angles, camera parameters and multi-view images without depth information. By feeding the kinematic neural network with joint angles, we can utilize the well-trained model to describe the corresponding morphology, kinematics and texture of robots at the link level, and render robot images from different perspectives with the aid of 3D Gaussian splatting. Furthermore, we demonstrate that the established model can be exploited to perform downstream tasks such as motion planning and inverse kinematics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google