Bi-KVIL: Keypoints-based Visual Imitation Learning of Bimanual Manipulation Tasks

要約

視覚模倣学習は、コンピューター ビジョンの最新の進歩のおかげで、少数の視覚観察からの単独操作タスクの学習において目覚ましい進歩を遂げました。
しかし、両手調整戦略と複雑なオブジェクトの関係を両手の視覚的なデモンストレーションから学習し、それらを新しい乱雑なシーンのカテゴリオブジェクトに一般化することは、未解決の課題のままです。
この論文では、キーポイントベースの視覚模倣学習 (\mbox{K-VIL})~\cite{gao_kvil_2023} に関する以前の研究を両手操作タスクに拡張します。
提案された Bi-KVIL は、オブジェクトとハンド、バイマニュアル調整戦略、およびサブシンボリック タスク表現の間の、いわゆる \emph{ハイブリッド マスター スレーブ関係} (HMSR) を共同抽出します。
私たちの両手タスク表現はオブジェクト中心で、実施形態に依存せず、視点が不変であるため、新しいシーンのカテゴリオブジェクトによく一般化されます。
私たちは、現実世界のさまざまなアプリケーションで私たちのアプローチを評価し、少数の人によるデモビデオからきめの細かい両手操作タスクを学習する能力を実証します。
ビデオとソース コードは https://sites.google.com/view/bi-kvil で入手できます。

要約(オリジナル)

Visual imitation learning has achieved impressive progress in learning unimanual manipulation tasks from a small set of visual observations, thanks to the latest advances in computer vision. However, learning bimanual coordination strategies and complex object relations from bimanual visual demonstrations, as well as generalizing them to categorical objects in novel cluttered scenes remain unsolved challenges. In this paper, we extend our previous work on keypoints-based visual imitation learning (\mbox{K-VIL})~\cite{gao_kvil_2023} to bimanual manipulation tasks. The proposed Bi-KVIL jointly extracts so-called \emph{Hybrid Master-Slave Relationships} (HMSR) among objects and hands, bimanual coordination strategies, and sub-symbolic task representations. Our bimanual task representation is object-centric, embodiment-independent, and viewpoint-invariant, thus generalizing well to categorical objects in novel scenes. We evaluate our approach in various real-world applications, showcasing its ability to learn fine-grained bimanual manipulation tasks from a small number of human demonstration videos. Videos and source code are available at https://sites.google.com/view/bi-kvil.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google