Breathless: An 8-hour Performance Contrasting Human and Robot Expressiveness

要約

この論文では、人間のダンサー (Cuan) と産業用ロボット アームを組み合わせて、アメリカの平日の 8 時間のダンスを繰り広げるオリジナル パフォーマンスの背後にあるロボット テクノロジーについて説明します。
ロボット アームを制御するために、各ジョイントでさまざまな振幅、周波数、オフセットを持つ一連の正弦波動作を組み合わせ、かき混ぜる、掘る、積み上げるなどの肉体労働で一般的な人間の動作を呼び起こします。
ビデオベースの人間のポーズの追跡と抽出のための深層学習技術を使用して、さらに多くのモーションが開発されました。
これらの事前に記録されたモーションを、ロボットを教示モードにし、ステージ上のロボットの関節からの力検出をトリガーすることによってライブで作成された即興のロボットのモーションと組み合わせます。
すべてのモーションは、AppleScript、Keynote、Zoom を備えた Python ソフトウェアのカスタム スイートを使用して商用およびオリジナルの音楽と結合され、ステージ上でのダンサーとのコミュニケーションを促進します。
結果として得られるパフォーマンスは、人体の表現力とロボット機械の正確さを対比させます。
ビデオ、コード、データはプロジェクトの Web サイトで入手できます: https://sites.google.com/playing.studio/breathless

要約(オリジナル)

This paper describes the robot technology behind an original performance that pairs a human dancer (Cuan) with an industrial robot arm for an eight-hour dance that unfolds over the timespan of an American workday. To control the robot arm, we combine a range of sinusoidal motions with varying amplitude, frequency and offset at each joint to evoke human motions common in physical labor such as stirring, digging, and stacking. More motions were developed using deep learning techniques for video-based human-pose tracking and extraction. We combine these pre-recorded motions with improvised robot motions created live by putting the robot into teach-mode and triggering force sensing from the robot joints onstage. All motions are combined with commercial and original music using a custom suite of python software with AppleScript, Keynote, and Zoom to facilitate on-stage communication with the dancer. The resulting performance contrasts the expressivity of the human body with the precision of robot machinery. Video, code and data are available on the project website: https://sites.google.com/playing.studio/breathless

arxiv情報

提供元, 利用サービス

arxiv.jp, Google