Transferring human emotions to robot motions using Neural Policy Style Transfer

要約

ニューラル スタイル転送 (NST) はもともと、画像でスタイル転送を実行する方法としてニューラル ネットワークの特徴抽出機能を使用するために提案されました。
事前にトレーニングされた画像分類アーキテクチャが特徴抽出用に選択され、元の画像と同じ内容を示すがスタイルが異なる新しい画像が生成されました。
ロボット工学では、スタイル転送を使用して人間の動作スタイルをロボットの動作に転送できます。
課題は、特徴抽出に使用できるロボット動作の事前トレーニングされた分類アーキテクチャが不足していることです。
人間の動作スタイルをロボットの動作に変換するために、Neural Policy Style Transfer TD3 (NPST3) が提案されています。
このフレームワークにより、同じロボットの動作を、怒っている、幸せな、穏やかな、悲しいなど、人間中心のさまざまな動作スタイルで実行できます。
制御ポリシーの生成には、Twin Delayed Deep Deterministic Policy Gradient (TD3) ネットワークが導入されています。
オートエンコーダー ネットワークは、スタイル転送ステップの特徴抽出を担当します。
スタイル転送ステップはオフラインとオンラインの両方で実行できます。オフラインでは人間スタイルのロボット動作を自律的に実行し、オンラインでは遠隔操作ロボットなどのスタイルを実行時に適応させます。
このフレームワークは、遠隔操作タスク用に設計されたロボット マニピュレータと、社会的相互作用用に設計されたヒューマノイド ロボットという 2 つの異なるロボット プラットフォームを使用してテストされます。
提案されたアプローチは両方のプラットフォームで評価され、事前に定義された一連のアクションのロボットの動作に転送された人間の動作スタイルを人間の被験者に認識するよう求める合計 147 のアンケートが実行されました。

要約(オリジナル)

Neural Style Transfer (NST) was originally proposed to use feature extraction capabilities of Neural Networks as a way to perform Style Transfer with images. Pre-trained image classification architectures were selected for feature extraction, leading to new images showing the same content as the original but with a different style. In robotics, Style Transfer can be employed to transfer human motion styles to robot motions. The challenge lies in the lack of pre-trained classification architectures for robot motions that could be used for feature extraction. Neural Policy Style Transfer TD3 (NPST3) is proposed for the transfer of human motion styles to robot motions. This framework allows the same robot motion to be executed in different human-centered motion styles, such as in an angry, happy, calm, or sad fashion. The Twin Delayed Deep Deterministic Policy Gradient (TD3) network is introduced for the generation of control policies. An autoencoder network is in charge of feature extraction for the Style Transfer step. The Style Transfer step can be performed both offline and online: offline for the autonomous executions of human-style robot motions, and online for adapting at runtime the style of e.g., a teleoperated robot. The framework is tested using two different robotic platforms: a robotic manipulator designed for telemanipulation tasks, and a humanoid robot designed for social interaction. The proposed approach was evaluated for both platforms, performing a total of 147 questionnaires asking human subjects to recognize the human motion style transferred to the robot motion for a predefined set of actions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google