Offline Risk-sensitive RL with Partial Observability to Enhance Performance in Human-Robot Teaming

要約

生理学的コンピューティングを混合主導型の人間とロボットの対話システムに統合すると、人間の状態観察としてのリアルタイム機能を意思決定システムに組み込むことにより、自律的なタスク割り当てに貴重な利点がもたらされます。
このアプローチは、ミッションタスクをエージェント間でインテリジェントに割り当てることにより、人間のオペレーターの認知負荷を軽減する可能性があります。
それにもかかわらず、生理学的および行動的測定値が異なる多様な人間の参加者に対応することは、大きな課題となります。
これに対処するには、人間の状態に固有の不確実性と部分的な観測可能性を考慮すると、確率的な枠組みに頼る必要があります。
最近の研究では、オフライン強化学習 (ORL) 手法を使用して解決できる、以前に収集された経験のデータセットから部分観察可能なマルコフ決定プロセス (POMDP) モデルを学習することが提案されています。
現在の研究では、部分的に観察可能な表現と生理学的測定が人間のオペレーター状態の推定とパフォーマンスを向上させる可能性を強調するだけでなく、人間とロボットのチームの全体的なミッション効率も強化します。
重要なのは、固定データセットには複雑な確率過程を完全に表現するのに十分な情報が含まれていない可能性があるため、モデルの不確実性を組み込む方法を提案し、これによりリスクに敏感な逐次的な意思決定を可能にすることです。
実験は、シミュレートされたロボット遠隔操作環境内で 26 人の人間参加者のグループで実施され、この方法の有効性の経験的証拠が得られました。
取得された適応型タスク割り当てポリシーは、データセットの収集に使用されたものよりも統計的に有意に高いスコアをもたらし、リスクに敏感な指標も考慮した多様な参加者間での一般化を可能にしました。

要約(オリジナル)

The integration of physiological computing into mixed-initiative human-robot interaction systems offers valuable advantages in autonomous task allocation by incorporating real-time features as human state observations into the decision-making system. This approach may alleviate the cognitive load on human operators by intelligently allocating mission tasks between agents. Nevertheless, accommodating a diverse pool of human participants with varying physiological and behavioral measurements presents a substantial challenge. To address this, resorting to a probabilistic framework becomes necessary, given the inherent uncertainty and partial observability on the human’s state. Recent research suggests to learn a Partially Observable Markov Decision Process (POMDP) model from a data set of previously collected experiences that can be solved using Offline Reinforcement Learning (ORL) methods. In the present work, we not only highlight the potential of partially observable representations and physiological measurements to improve human operator state estimation and performance, but also enhance the overall mission effectiveness of a human-robot team. Importantly, as the fixed data set may not contain enough information to fully represent complex stochastic processes, we propose a method to incorporate model uncertainty, thus enabling risk-sensitive sequential decision-making. Experiments were conducted with a group of twenty-six human participants within a simulated robot teleoperation environment, yielding empirical evidence of the method’s efficacy. The obtained adaptive task allocation policy led to statistically significant higher scores than the one that was used to collect the data set, allowing for generalization across diverse participants also taking into account risk-sensitive metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google