Augmented Body Communicator: Enhancing daily body expression for people with upper limb limitations through LLM and a robotic arm

要約

上肢の移動制限を持つ個人は、他の人とのやり取りにおいて課題に直面しています。
ロボットアームは現在、主に機能的なタスクに使用されていますが、社会的相互作用中にユーザーのボディーランゲージ能力を高める方法を探る可能性がかなりあります。
このペーパーでは、ロボットアームと大規模な言語モデルを統合する拡張体コミュニケーターシステムを紹介します。
運動記憶を組み込むことで、無効なユーザーとそのサポーターは、ロボットアームのアクションを協力して設計することができます。
次に、LLMシステムは、相互作用中のコンテキストキューに基づいて、最も適切なアクションに関する提案を提供します。
このシステムは、上肢の移動に影響を与える条件を持つ6人の参加者との徹底的なユーザーテストを受けました。
結果は、システムがユーザーの自分自身を表現する能力を向上させることを示しています。
調査結果に基づいて、ボディーランゲージ能力と機能的タスクを備えた障害者をサポートするロボットアームを開発するための推奨事項を提供します。

要約(オリジナル)

Individuals with upper limb movement limitations face challenges in interacting with others. Although robotic arms are currently used primarily for functional tasks, there is considerable potential to explore ways to enhance users’ body language capabilities during social interactions. This paper introduces an Augmented Body Communicator system that integrates robotic arms and a large language model. Through the incorporation of kinetic memory, disabled users and their supporters can collaboratively design actions for the robot arm. The LLM system then provides suggestions on the most suitable action based on contextual cues during interactions. The system underwent thorough user testing with six participants who have conditions affecting upper limb mobility. Results indicate that the system improves users’ ability to express themselves. Based on our findings, we offer recommendations for developing robotic arms that support disabled individuals with body language capabilities and functional tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google