Sim-to-Real Causal Transfer: A Metric Learning Approach to Causally-Aware Interaction Representations

要約

近隣のエージェント間の空間的相互作用のモデリングは、モーション予測やクラウドナビゲーションなどのマルチエージェントの問題の中心にあります。
顕著な進歩にもかかわらず、現代の表現がエージェントの相互作用の背後にある因果関係をどの程度捉えることができるかは不明のままです。
この作業では、計算形式から現実世界の実践まで、これらの表現の因果的認識を詳細に見ていきます。
まず、最近の因果関係者のベンチマークで研究された非因果性の堅牢性の概念に疑問を投げかけました。
最近の表現は、非因果薬の摂動に対してすでに部分的に回復力があるが、メディエーターエージェントを含む間接的な因果効果のモデリングは依然として困難であることを示しています。
この課題に対処するために、因果注釈で潜在的な表現を正規化するメトリック学習アプローチを導入します。
私たちの制御された実験は、このアプローチがより高い程度の因果的認識につながるだけでなく、分散型の堅牢性が強くなることを示しています。
実際にそれをさらに運用するために、クロスドメインマルチタスク学習を介してSIMからリアルへの因果転移方法を提案します。
歩行者のデータセットでの実験は、実際の因果注釈がない場合でも、この方法が一般化を大幅に高めることができることを示しています。
私たちの仕事が、マルチエージェント相互作用の因果的に認識される表現に向けた課題と経路に関する新しい視点を提供することを願っています。
私たちのコードは、https：//github.com/vita-epfl/causalsim2realで入手できます。

要約(オリジナル)

Modeling spatial-temporal interactions among neighboring agents is at the heart of multi-agent problems such as motion forecasting and crowd navigation. Despite notable progress, it remains unclear to which extent modern representations can capture the causal relationships behind agent interactions. In this work, we take an in-depth look at the causal awareness of these representations, from computational formalism to real-world practice. First, we cast doubt on the notion of non-causal robustness studied in the recent CausalAgents benchmark. We show that recent representations are already partially resilient to perturbations of non-causal agents, and yet modeling indirect causal effects involving mediator agents remains challenging. To address this challenge, we introduce a metric learning approach that regularizes latent representations with causal annotations. Our controlled experiments show that this approach not only leads to higher degrees of causal awareness but also yields stronger out-of-distribution robustness. To further operationalize it in practice, we propose a sim-to-real causal transfer method via cross-domain multi-task learning. Experiments on pedestrian datasets show that our method can substantially boost generalization, even in the absence of real-world causal annotations. We hope our work provides a new perspective on the challenges and pathways towards causally-aware representations of multi-agent interactions. Our code is available at https://github.com/vita-epfl/CausalSim2Real.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google