SafeVLA: Towards Safety Alignment of Vision-Language-Action Model via Safe Reinforcement Learning

要約

Vision-Language-actionモデル（VLA）は、ジェネラリストのロボットポリシーとして大きな可能性を示しています。
ただし、これらのモデルは、環境、ロボット自体、人間への身体的危害のリスクなど、展開中に緊急の安全性の課題をもたらします。
どのようにして安全性をVLAに明示的に組み込むことができますか？
この作業では、安全性をVLAに統合するために設計された新しいアルゴリズムであるSafevlaを提案し、環境、ロボットハードウェア、および人間の現実世界の設定を保証します。
SAFEVLAは、シミュレートされた環境内で大規模な制約のある学習を採用することにより、安全性とタスクのパフォーマンスのバランスを効果的にバランスさせます。
Safevlaは、安全性とタスクパフォ​​ーマンスの両方で現在の最先端の方法を上回り、シミュレーションでそれぞれ83.58％と3.85％の平均改善を達成することを実証します。
安全性に優先順位を付けることにより、私たちのアプローチは高リスクの動作を排除し、安全でない動作の上限を1/35に減らし、現在の最先端のリスクを大幅に軽減します。
さらに、学習した安全性の制約は、複数の分散式の摂動やタスクを含む、多様で目に見えないシナリオに一般化されます。
当社のデータ、モデル、新たに提案されたベンチマーク環境は、https：//sites.google.com/view/pku-safevlaで入手できます。

要約(オリジナル)

Vision-language-action models (VLAs) have shown great potential as generalist robot policies. However, these models pose urgent safety challenges during deployment, including the risk of physical harm to the environment, the robot itself, and humans. How can safety be explicitly incorporated into VLAs? In this work, we propose SafeVLA, a novel algorithm designed to integrate safety into VLAs, ensuring the protection of the environment, robot hardware and humans in real-world settings. SafeVLA effectively balances safety and task performance by employing large-scale constrained learning within simulated environments. We demonstrate that SafeVLA outperforms the current state-of-the-art method in both safety and task performance, achieving average improvements of 83.58% and 3.85%, respectively, in simulation. By prioritizing safety, our approach eliminates high-risk behaviors and reduces the upper bound of unsafe behaviors to 1/35 of that in the current state-of-the-art, thereby significantly mitigating long-tail risks. Furthermore, the learned safety constraints generalize to diverse, unseen scenarios, including multiple out-of-distribution perturbations and tasks. Our data, models and newly proposed benchmark environment are available at https://sites.google.com/view/pku-safevla.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google