Learning Multimodal AI Algorithms for Amplifying Limited User Input into High-dimensional Control Space

要約

現在の侵襲的支援技術は、ひどく麻痺した患者からの高次元運動制御信号を推測するように設計されています。
しかし、彼らは、国民の受け入れ、限られた長寿、商業化に対する障壁など、大きな課題に直面しています。
一方、非侵襲的な代替品は、しばしばアーティファクトを起こしやすいシグナルに依存し、長いユーザートレーニングを必要とし、器用なタスクに堅牢な高次元制御を提供するのに苦労します。
これらの問題に対処するために、この研究では、重度の麻痺の患者が制限されたロボットアームなどの高次元ロボットアームなどの高次元の支援装置を制御できる潜在的に、限られたロボット装置と非侵襲的入力を使用できるようにする可能性のある失われた運動機能のインテリジェントな代償メカニズムとして、新しいヒト中心のマルチモーダルAIアプローチを紹介します。
現在の最先端の（SOTA）非侵襲的アプローチとは対照的に、私たちのコンテキストに対応するマルチモーダル共有のフレームワークは、深い強化学習アルゴリズムを統合して、リアルタイムの環境認識と限られた低次元ユーザーの入力を統合し、適応、動的、および魅力的なタスキングなどの人間の魅力的な魅力の魅力のインテリジェント解釈を可能にします。
50,000を超えるコンピューターシミュレーションエピソードを合成ユーザーと訓練したARAS（共有自律性の限られた入力の増幅のための適応補強学習）の結果は、提案された閉ループのヒューマンインザループパラダイムの最初の成功した実装を実証し、SOTA共有自律自律アルゴリズムを上回ることを実証しました。
ゼロショットSIMからリアルへの転送に続いて、ARASは23人のヒト被験者について評価され、動的な意図検出の高精度と、器用なピックアンドプレイスタスクの滑らかで安定した3D軌道制御を示しました。
ARASユーザー調査は92.88％の高いタスク成功率を達成し、短い完了時間はSOTA侵襲的支援技術のものに匹敵します。

要約(オリジナル)

Current invasive assistive technologies are designed to infer high-dimensional motor control signals from severely paralyzed patients. However, they face significant challenges, including public acceptance, limited longevity, and barriers to commercialization. Meanwhile, noninvasive alternatives often rely on artifact-prone signals, require lengthy user training, and struggle to deliver robust high-dimensional control for dexterous tasks. To address these issues, this study introduces a novel human-centered multimodal AI approach as intelligent compensatory mechanisms for lost motor functions that could potentially enable patients with severe paralysis to control high-dimensional assistive devices, such as dexterous robotic arms, using limited and noninvasive inputs. In contrast to the current state-of-the-art (SoTA) noninvasive approaches, our context-aware, multimodal shared-autonomy framework integrates deep reinforcement learning algorithms to blend limited low-dimensional user input with real-time environmental perception, enabling adaptive, dynamic, and intelligent interpretation of human intent for complex dexterous manipulation tasks, such as pick-and-place. The results from our ARAS (Adaptive Reinforcement learning for Amplification of limited inputs in Shared autonomy) trained with synthetic users over 50,000 computer simulation episodes demonstrated the first successful implementation of the proposed closed-loop human-in-the-loop paradigm, outperforming the SoTA shared autonomy algorithms. Following a zero-shot sim-to-real transfer, ARAS was evaluated on 23 human subjects, demonstrating high accuracy in dynamic intent detection and smooth, stable 3D trajectory control for dexterous pick-and-place tasks. ARAS user study achieved a high task success rate of 92.88%, with short completion times comparable to those of SoTA invasive assistive technologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google