SignBot: Learning Human-to-Humanoid Sign Language Interaction

要約

手話は、動きと表現を使用して意味を伝える自然で視覚的な形式であり、耳が聞こえない、または耳を傾ける個人のコミュニケーションの重要な手段として機能します（DHH）。
しかし、手話に熟練した人の数は限られたままであり、コミュニケーションのギャップを橋渡しし、少数派との相互作用を促進するための技術的進歩の必要性を強調しています。
具体化されたヒューマノイドロボットの最近の進歩に基づいて、人間のロボット手話相互作用のための新しいフレームワークであるSignbotを提案します。
Signbotは、理解と相互作用のための小脳にインスパイアされたモーション制御コンポーネントと脳指向のモジュールを統合します。
具体的には、Signbotは以下で構成されています。1）人間の手話データセットをロボット互換の運動学に変換するモーションリターゲティング。
2）学習ベースのパラダイムを活用して、手話のジェスチャーを追跡するための堅牢なヒューマノイド制御ポリシーを開発するモーションコントロール。
3）手話の翻訳者、レスカー、および発電機を組み込んだ生成的相互作用により、ロボットと人間間の自然で効果的なコミュニケーションが可能になります。
シミュレーションと現実世界の実験結果は、Signbotが人間とロボットの相互作用を効果的に促進し、多様なロボットとデータセットで手話の動きを実行できることを示しています。
Signbotは、具体化されたヒューマノイドロボットプラットフォームでの自動手話相互作用の大幅な進歩を表し、DHHコミュニティのコミュニケーションアクセシビリティを改善するための有望なソリューションを提供します。

要約(オリジナル)

Sign language is a natural and visual form of language that uses movements and expressions to convey meaning, serving as a crucial means of communication for individuals who are deaf or hard-of-hearing (DHH). However, the number of people proficient in sign language remains limited, highlighting the need for technological advancements to bridge communication gaps and foster interactions with minorities. Based on recent advancements in embodied humanoid robots, we propose SignBot, a novel framework for human-robot sign language interaction. SignBot integrates a cerebellum-inspired motion control component and a cerebral-oriented module for comprehension and interaction. Specifically, SignBot consists of: 1) Motion Retargeting, which converts human sign language datasets into robot-compatible kinematics; 2) Motion Control, which leverages a learning-based paradigm to develop a robust humanoid control policy for tracking sign language gestures; and 3) Generative Interaction, which incorporates translator, responser, and generator of sign language, thereby enabling natural and effective communication between robots and humans. Simulation and real-world experimental results demonstrate that SignBot can effectively facilitate human-robot interaction and perform sign language motions with diverse robots and datasets. SignBot represents a significant advancement in automatic sign language interaction on embodied humanoid robot platforms, providing a promising solution to improve communication accessibility for the DHH community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google