Sim-to-Real Causal Transfer: A Metric Learning Approach to Causally-Aware Interaction Representations

要約

隣接するエージェント間の時空間相互作用のモデル化は、動作予測や群集ナビゲーションなどのマルチエージェント問題の中心です。
顕著な進歩にもかかわらず、現代の表現がエージェントの相互作用の背後にある因果関係をどの程度まで捉えることができるかは依然として不明である。
この研究では、計算上の形式主義から現実世界の実践に至るまで、これらの表現の因果的認識を詳しく調べます。
まず、最近の CausalAgents ベンチマークで研究された非因果的堅牢性の概念に疑問を投げかけました。
我々は、最近の表現がすでに非原因因子の摂動に対して部分的に耐性を示しているが、メディエーター因子が関与する間接的な因果効果をモデル化することは依然として困難であることを示す。
この課題に対処するために、因果関係のある注釈を使用して潜在表現を正規化する計量学習アプローチを導入します。
私たちの対照実験では、このアプローチがより高いレベルの因果認識につながるだけでなく、より強力な分布外ロバスト性も得られることを示しています。
実際にそれをさらに運用可能にするために、クロスドメインマルチタスク学習を介したシミュレーションから現実への因果伝達方法を提案します。
歩行者データセットの実験では、現実世界の因果関係のアノテーションがない場合でも、私たちの方法が一般化を大幅に高めることができることが示されています。
私たちの研究が、マルチエージェント相互作用の因果関係を意識した表現に向けた課題と潜在的な道筋について、新たな視点を提供することを願っています。
私たちのコードは https://github.com/socialcausality で入手できます。

要約(オリジナル)

Modeling spatial-temporal interactions among neighboring agents is at the heart of multi-agent problems such as motion forecasting and crowd navigation. Despite notable progress, it remains unclear to which extent modern representations can capture the causal relationships behind agent interactions. In this work, we take an in-depth look at the causal awareness of these representations, from computational formalism to real-world practice. First, we cast doubt on the notion of non-causal robustness studied in the recent CausalAgents benchmark. We show that recent representations are already partially resilient to perturbations of non-causal agents, and yet modeling indirect causal effects involving mediator agents remains challenging. To address this challenge, we introduce a metric learning approach that regularizes latent representations with causal annotations. Our controlled experiments show that this approach not only leads to higher degrees of causal awareness but also yields stronger out-of-distribution robustness. To further operationalize it in practice, we propose a sim-to-real causal transfer method via cross-domain multi-task learning. Experiments on pedestrian datasets show that our method can substantially boost generalization, even in the absence of real-world causal annotations. We hope our work provides a new perspective on the challenges and potential pathways towards causally-aware representations of multi-agent interactions. Our code is available at https://github.com/socialcausality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google