Embodied Red Teaming for Auditing Robotic Foundation Models

要約

言語条件付きロボットモデルには、ロボットが自然言語の指示に基づいて幅広いタスクを実行できるようにする可能性があります。
ただし、単一のタスクを表現できるすべての異なる方法をテストすることが困難であるため、安全性と有効性を評価することは依然として困難です。
現在のベンチマークには2つの重要な制限があります。それらは、限られた人間で生成された指示のセットに依存し、多くの困難なケースを欠いており、損害を避けるなど、安全性を評価することなくタスクのパフォーマンスにのみ焦点を当てています。
これらのギャップに対処するために、これらのモデルをテストするための多様で挑戦的な指示を生成する新しい評価方法であるEmbodied Red Teaming（ERT）を紹介します。
ERTは、Vision言語モデル（VLM）を備えた自動レッドチーム化手法を使用して、コンテキストに基づいた困難な指示を作成します。
実験結果は、最先端の言語で調整されたロボットモデルが、ERT生成された命令で失敗または安全ではないことを示しており、現実世界のパフォーマンスと安全性を評価する際の現在のベンチマークの欠点を強調しています。
コードとビデオは、https：//s-karnik.github.io/embodied-red-team-project-pageで入手できます。

要約(オリジナル)

Language-conditioned robot models have the potential to enable robots to perform a wide range of tasks based on natural language instructions. However, assessing their safety and effectiveness remains challenging because it is difficult to test all the different ways a single task can be phrased. Current benchmarks have two key limitations: they rely on a limited set of human-generated instructions, missing many challenging cases, and focus only on task performance without assessing safety, such as avoiding damage. To address these gaps, we introduce Embodied Red Teaming (ERT), a new evaluation method that generates diverse and challenging instructions to test these models. ERT uses automated red teaming techniques with Vision Language Models (VLMs) to create contextually grounded, difficult instructions. Experimental results show that state-of-the-art language-conditioned robot models fail or behave unsafely on ERT-generated instructions, underscoring the shortcomings of current benchmarks in evaluating real-world performance and safety. Code and videos are available at: https://s-karnik.github.io/embodied-red-team-project-page.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google