Learning Collective Dynamics of Multi-Agent Systems using Event-based Vision

要約

この論文では、特にインタラクション強度と収束時間に焦点を当て、マルチエージェント システムの集団ダイナミクスを学習および予測するための視覚ベースの知覚という新しい問題を提案します。
マルチエージェント システムは、複雑なグループ動作を示す、相互作用する 10 を超えるエージェントの集合として定義されます。
エージェントの位置の知識を前提とした先行研究とは異なり、フレームまたはイベントとしてキャプチャされた視覚データから集団のダイナミクスを直接予測する深層学習モデルに焦点を当てています。
関連するデータセットが不足しているため、最先端の植毛シミュレーターとビジョンからイベントへの変換フレームワークを組み合わせて、シミュレートされたデータセットを作成します。
私たちは、これらの集団行動を予測する際に、従来のフレームベースの方法よりもイベントベースの表現が有効であることを経験的に実証します。
私たちの分析に基づいて、マルチエージェント動的予測 (evMAP) のイベントベースのビジョンを示します。これは、マルチエージェント システムにおけるインタラクションの強さと集団行動の出現をリアルタイムで正確に理解するために設計された深層学習アーキテクチャです。

要約(オリジナル)

This paper proposes a novel problem: vision-based perception to learn and predict the collective dynamics of multi-agent systems, specifically focusing on interaction strength and convergence time. Multi-agent systems are defined as collections of more than ten interacting agents that exhibit complex group behaviors. Unlike prior studies that assume knowledge of agent positions, we focus on deep learning models to directly predict collective dynamics from visual data, captured as frames or events. Due to the lack of relevant datasets, we create a simulated dataset using a state-of-the-art flocking simulator, coupled with a vision-to-event conversion framework. We empirically demonstrate the effectiveness of event-based representation over traditional frame-based methods in predicting these collective behaviors. Based on our analysis, we present event-based vision for Multi-Agent dynamic Prediction (evMAP), a deep learning architecture designed for real-time, accurate understanding of interaction strength and collective behavior emergence in multi-agent systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google