VoicePilot: Harnessing LLMs as Speech Interfaces for Physically Assistive Robots

要約

身体支援ロボットは、運動障害やその他の障害を持ち、日常生活の活動を完了できない個人の幸福と自立を大幅に向上させる機会を提供します。
音声インターフェイス、特に大規模言語モデル (LLM) を利用したインターフェイスを使用すると、個人が高レベルのコマンドや微妙な好みをロボットに効果的かつ自然に伝えることができます。
高レベルのタスク計画とコード生成のためのロボットへのインターフェースとして LLM を統合するフレームワークが提案されていますが、支援インターフェースの開発時に不可欠な人間中心の考慮事項が組み込まれていません。
この研究では、身体支援ロボットの音声インターフェースとして LLM を組み込むためのフレームワークを紹介します。このフレームワークは、給餌ロボットを含む 3 段階のテストで反復的に構築され、自立生活施設の 11 人の高齢者による評価で最高潮に達します。
私たちは、最終研究からの定量的データと定性的データの両方を使用してフレームワークを検証し、さらに支援ロボットの音声インターフェースとして LLM を使用するための設計ガイドラインを提供します。
ビデオとサポート ファイルはプロジェクト Web サイトにあります: https://sites.google.com/andrew.cmu.edu/voicepilot/

要約(オリジナル)

Physically assistive robots present an opportunity to significantly increase the well-being and independence of individuals with motor impairments or other forms of disability who are unable to complete activities of daily living. Speech interfaces, especially ones that utilize Large Language Models (LLMs), can enable individuals to effectively and naturally communicate high-level commands and nuanced preferences to robots. Frameworks for integrating LLMs as interfaces to robots for high level task planning and code generation have been proposed, but fail to incorporate human-centric considerations which are essential while developing assistive interfaces. In this work, we present a framework for incorporating LLMs as speech interfaces for physically assistive robots, constructed iteratively with 3 stages of testing involving a feeding robot, culminating in an evaluation with 11 older adults at an independent living facility. We use both quantitative and qualitative data from the final study to validate our framework and additionally provide design guidelines for using LLMs as speech interfaces for assistive robots. Videos and supporting files are located on our project website: https://sites.google.com/andrew.cmu.edu/voicepilot/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google