SocRATES: Towards Automated Scenario-based Testing of Social Navigation Algorithms

要約

現在のソーシャル ナビゲーションの手法とベンチマークは、主にプロクセミクスとタスクの効率に焦点を当てています。
これらの要素は重要ですが、人間の環境への導入と統合を成功させるには、ロボットの社会的能力の認識などの定性的側面も同様に重要です。
私たちは、特定の人間とロボットの対話シナリオから主要なロボットの動作を明らかにできる、シナリオベースのテストを通じてソーシャル ナビゲーションをより包括的に評価することを提案します。
ただし、このようなシナリオの作成は多くの場合、労力がかかり、複雑です。
この作業では、シミュレーションの準備が整った、コンテキストおよび場所に適したソーシャル ナビゲーション シナリオの生成を自動化するパイプラインを導入することで、この課題に対処します。
私たちのパイプラインは、単純なシナリオのメタデータを詳細なテキストのシナリオに変換し、歩行者とロボットの軌道を推測し、歩行者の行動をシミュレートすることで、より制御された評価を可能にします。
大規模言語モデル (LLM) の社会的推論機能とコード生成機能を活用して、シナリオの生成と翻訳を合理化します。
私たちの実験では、パイプラインが現実的なシナリオを生成し、単純な LLM プロンプトよりもシナリオ変換が大幅に向上していることがわかりました。
さらに、ソーシャル ナビゲーションの専門家とのユーザビリティ調査からの初期フィードバックと、3 つのナビゲーション アルゴリズムのシナリオベースの評価を実証するケーススタディを紹介します。

要約(オリジナル)

Current social navigation methods and benchmarks primarily focus on proxemics and task efficiency. While these factors are important, qualitative aspects such as perceptions of a robot’s social competence are equally crucial for successful adoption and integration into human environments. We propose a more comprehensive evaluation of social navigation through scenario-based testing, where specific human-robot interaction scenarios can reveal key robot behaviors. However, creating such scenarios is often labor-intensive and complex. In this work, we address this challenge by introducing a pipeline that automates the generation of context-, and location-appropriate social navigation scenarios, ready for simulation. Our pipeline transforms simple scenario metadata into detailed textual scenarios, infers pedestrian and robot trajectories, and simulates pedestrian behaviors, which enables more controlled evaluation. We leverage the social reasoning and code-generation capabilities of Large Language Models (LLMs) to streamline scenario generation and translation. Our experiments show that our pipeline produces realistic scenarios and significantly improves scenario translation over naive LLM prompting. Additionally, we present initial feedback from a usability study with social navigation experts and a case-study demonstrating a scenario-based evaluation of three navigation algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google