Quantifying Assistive Robustness Via the Natural-Adversarial Frontier

要約

私たちの最終的な目標は、人間を支援するロボットのための堅牢なポリシーを構築することです。
これを難しくしているのは、人がテスト時に予期せぬ動作をする可能性があり、トレーニング配布外でロボットと対話して失敗につながる可能性があることです。
堅牢性を測定するだけでも困難です。
敵対的摂動はデフォルトですが、間違ったイメージを描く可能性があります。つまり、敵対的摂動は、人との自然な相互作用では発生する可能性が低い人間の動作に対応する可能性があります。
ロボット政策は、敵対的な摂動が小さい場合には失敗する可能性がありますが、自然の摂動が大きい場合には機能します。
私たちは、これらのインタラクティブな設定で堅牢性を確保するには、自然と敵対のフロンティア全体、つまり自然さとロボットの低いパフォーマンスの間の最良のトレードオフである人間の政策のパレートフロンティアを構築して分析する必要があると提案します。
我々は、ロボットの報酬を最小限に抑えることと、（ディスクリミネーターによって測定されるように）人間のように振る舞うこととの間でトレードオフとなる、敵対的な人間のポリシーをトレーニングすることによって、このフロンティアを構築するための手法である RIGID を紹介します。
支援ジムのタスクでは、RIGID を使用して、標準的な協調強化学習のパフォーマンスと、堅牢性を高めるための既存の手法のパフォーマンスを分析します。
また、RIGID が特定したフロンティアと、専門家による敵対的対話で特定された障害、およびユーザー対話中に自然に発生した障害と比較します。
全体として、RIGID が導入パフォーマンスを予測する意味のある堅牢性の尺度を提供できるという証拠が見つかり、手動で見つけるのが難しい人間とロボットのインタラクションにおける障害ケースを明らかにできます。
https://ood-human.github.io。

要約(オリジナル)

Our ultimate goal is to build robust policies for robots that assist people. What makes this hard is that people can behave unexpectedly at test time, potentially interacting with the robot outside its training distribution and leading to failures. Even just measuring robustness is a challenge. Adversarial perturbations are the default, but they can paint the wrong picture: they can correspond to human motions that are unlikely to occur during natural interactions with people. A robot policy might fail under small adversarial perturbations but work under large natural perturbations. We propose that capturing robustness in these interactive settings requires constructing and analyzing the entire natural-adversarial frontier: the Pareto-frontier of human policies that are the best trade-offs between naturalness and low robot performance. We introduce RIGID, a method for constructing this frontier by training adversarial human policies that trade off between minimizing robot reward and acting human-like (as measured by a discriminator). On an Assistive Gym task, we use RIGID to analyze the performance of standard collaborative Reinforcement Learning, as well as the performance of existing methods meant to increase robustness. We also compare the frontier RIGID identifies with the failures identified in expert adversarial interaction, and with naturally-occurring failures during user interaction. Overall, we find evidence that RIGID can provide a meaningful measure of robustness predictive of deployment performance, and uncover failure cases in human-robot interaction that are difficult to find manually. https://ood-human.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google