Rethinking Robustness Assessment: Adversarial Attacks on Learning-based Quadrupedal Locomotion Controllers

要約

脚による移動は、機械学習技術、特に深層強化学習 (RL) の進歩により、最近目覚ましい成功を収めています。
ニューラル ネットワークを採用したコントローラーは、センサー ノイズや外部摂動などの現実世界の不確実性に対して経験的かつ定性的に堅牢であることが実証されています。
ただし、これらの移動制御装置の脆弱性を正式に調査することは依然として課題です。
この困難は、高次元の時間的に連続した空間内のロングテール分布にわたって脆弱性を正確に特定する必要があることから生じます。
定量的検証に向けた最初のステップとして、我々は、連続的な敵対的攻撃を活用して、学習された移動制御装置の弱点を特定する計算手法を提案します。
私たちの研究は、最先端の堅牢なコントローラーであっても、適切に設計された低規模の敵対シーケンスの下では重大な障害を引き起こす可能性があることを示しています。
シミュレーションと実際のロボットでの実験を通じて、私たちのアプローチの有効性を検証し、生成された結果を元のポリシーを強化するためにどのように使用して、これらのブラックボックス ポリシーの安全性について貴重な洞察を提供できるかを示します。
プロジェクトページ：https://fanshi14.github.io/me/rss24.html

要約(オリジナル)

Legged locomotion has recently achieved remarkable success with the progress of machine learning techniques, especially deep reinforcement learning (RL). Controllers employing neural networks have demonstrated empirical and qualitative robustness against real-world uncertainties, including sensor noise and external perturbations. However, formally investigating the vulnerabilities of these locomotion controllers remains a challenge. This difficulty arises from the requirement to pinpoint vulnerabilities across a long-tailed distribution within a high-dimensional, temporally sequential space. As a first step towards quantitative verification, we propose a computational method that leverages sequential adversarial attacks to identify weaknesses in learned locomotion controllers. Our research demonstrates that, even state-of-the-art robust controllers can fail significantly under well-designed, low-magnitude adversarial sequence. Through experiments in simulation and on the real robot, we validate our approach’s effectiveness, and we illustrate how the results it generates can be used to robustify the original policy and offer valuable insights into the safety of these black-box policies. Project page: https://fanshi14.github.io/me/rss24.html

arxiv情報

提供元, 利用サービス

arxiv.jp, Google