Systematic Adaptation of Communication-focused Machine Learning Models from Real to Virtual Environments for Human-Robot Collaboration

要約

仮想現実は、ゲーム、医療、トレーニングから人間とロボットのコラボレーションを可能にするインターフェイスの開発に至るまで、さまざまな分野のアプリケーションで役立つことが証明されています。
これにより、設計者は現実世界の環境によってもたらされる制約の外側でアプリケーションを探索し、革新的なソリューションとエクスペリエンスを開発できるようになります。
手のジェスチャー認識は多くの研究のテーマであり、その後現実世界での商業化が可能になったのは、大規模なラベル付きデータセットの作成によって可能になりました。
協働ロボットの具体的な遠隔操作を可能にするために仮想領域で自然で直感的なハンド ジェスチャーの力を利用するには、同様に大規模なデータセットを作成して、作業インターフェイスを学習しやすく、ジェスチャーを追加できる十分な柔軟性を維持する必要があります。
アプリケーションによっては、これは計算上または経済的に法外な場合があります。
したがって、現実の環境で良好に動作するトレーニング済みの深層学習モデルを仮想環境に適応させることが、この課題の解決策となる可能性があります。
このペーパーでは、限られたサイズの仮想データセットを使用して現実から仮想に適応するための体系的なフレームワークと、厳選されたデータセットを作成するためのガイドラインを示します。
最後に、ハンド ジェスチャーはコミュニケーション モードとして考慮されていますが、提示されているガイドラインと推奨事項は一般的なものです。
これらは、仮想ドメインに適応させる必要がある実際のドメインで利用可能な大規模なデータセットを持つ体のポーズや顔の表情などの他のモードにも適用できます。

要約(オリジナル)

Virtual reality has proved to be useful in applications in several fields ranging from gaming, medicine, and training to development of interfaces that enable human-robot collaboration. It empowers designers to explore applications outside of the constraints posed by the real world environment and develop innovative solutions and experiences. Hand gestures recognition which has been a topic of much research and subsequent commercialization in the real world has been possible because of the creation of large, labelled datasets. In order to utilize the power of natural and intuitive hand gestures in the virtual domain for enabling embodied teleoperation of collaborative robots, similarly large datasets must be created so as to keep the working interface easy to learn and flexible enough to add more gestures. Depending on the application, this may be computationally or economically prohibitive. Thus, the adaptation of trained deep learning models that perform well in the real environment to the virtual may be a solution to this challenge. This paper presents a systematic framework for the real to virtual adaptation using limited size of virtual dataset along with guidelines for creating a curated dataset. Finally, while hand gestures have been considered as the communication mode, the guidelines and recommendations presented are generic. These are applicable to other modes such as body poses and facial expressions which have large datasets available in the real domain which must be adapted to the virtual one.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google