Predictive Red Teaming: Breaking Policies Without Breaking Robots

要約

模倣学習を介して訓練された視覚運動ポリシーは、挑戦的な操作タスクを実行することができますが、照明、視覚的なディストラクタ、オブジェクトの場所に非常に脆弱です。
これらの脆弱性は、トレーニングの詳細に予測不可能に依存する可能性があり、時間のかかる高価なハードウェアの評価なしに暴露することが困難です。
予測的な赤チーム化の問題を提案します。環境要因に関するポリシーの脆弱性を発見し、対象のシナリオでハードウェア評価なしで対応するパフォーマンス分解を予測します。
これを達成するために、Roboart：自動赤チーム（ART）パイプラインを開発します。
編集された観測で実行された検出器。
視覚運動拡散ポリシーの12回の統一条件での500以上のハードウェアトライアルにわたる実験は、Roboartが高精度でパフォーマンス分解を予測することを示しています（予測された成功率と実際の成功率の平均差は0.19未満です）。
また、予測的な赤チームがターゲットを絞ったデータ収集を可能にする方法を示します。有利なブーストであると予測される条件下で収集されたデータを微調整すると、ベースラインのパフォーマンスは2-7倍です。

要約(オリジナル)

Visuomotor policies trained via imitation learning are capable of performing challenging manipulation tasks, but are often extremely brittle to lighting, visual distractors, and object locations. These vulnerabilities can depend unpredictably on the specifics of training, and are challenging to expose without time-consuming and expensive hardware evaluations. We propose the problem of predictive red teaming: discovering vulnerabilities of a policy with respect to environmental factors, and predicting the corresponding performance degradation without hardware evaluations in off-nominal scenarios. In order to achieve this, we develop RoboART: an automated red teaming (ART) pipeline that (1) modifies nominal observations using generative image editing to vary different environmental factors, and (2) predicts performance under each variation using a policy-specific anomaly detector executed on edited observations. Experiments across 500+ hardware trials in twelve off-nominal conditions for visuomotor diffusion policies demonstrate that RoboART predicts performance degradation with high accuracy (less than 0.19 average difference between predicted and real success rates). We also demonstrate how predictive red teaming enables targeted data collection: fine-tuning with data collected under conditions predicted to be adverse boosts baseline performance by 2-7x.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google