CSAOT: Cooperative Multi-Agent System for Active Object Tracking

要約

オブジェクト追跡は、自律ナビゲーション、監視、ロボット工学など、多くのコンピューター ビジョン アプリケーションに不可欠です。
静的なカメラの視点に依存して連続フレーム全体でオブジェクトを検出および追跡するパッシブ オブジェクト トラッキング (POT) とは異なり、アクティブ オブジェクト トラッキング (AOT) では、コントローラー エージェントが視点をアクティブに調整して、複雑な環境で移動するターゲットとの視覚的な接触を維持する必要があります。
既存の AOT ソリューションは主にシングル エージェント ベースであり、情報収集および処理能力が限られているため、動的で複雑なシナリオでは困難が生じ、最適とはいえない意思決定が生じることがよくあります。
これらの制限を軽減するには、さまざまなエージェントが異なる役割を実行し、動的で複雑な環境での学習と堅牢性を強化するために協力するマルチエージェント システムの開発が必要です。
AOT にはいくつかのマルチエージェント アプローチが存在しますが、通常は外部補助エージェントに依存するため、追加のデバイスが必要となり、コストが高くなります。
対照的に、我々は、マルチエージェント深層強化学習 (MADRL) と専門家混合 (MoE) フレームワークを活用して、複数のエージェントが単一のデバイス上で動作できるようにする方法である、アクティブ オブジェクト追跡のための協調システム (CSAOT) を導入します。
追跡パフォーマンスの向上とコストの削減。
私たちのアプローチは、カメラの動きを最適化して追跡時間を延長しながら、オクルージョンや急速な動きに対する堅牢性を強化します。
私たちは、動的障害物と静止障害物を含むさまざまなインタラクティブ マップ上で CSAOT の有効性を検証しました。

要約(オリジナル)

Object Tracking is essential for many computer vision applications, such as autonomous navigation, surveillance, and robotics. Unlike Passive Object Tracking (POT), which relies on static camera viewpoints to detect and track objects across consecutive frames, Active Object Tracking (AOT) requires a controller agent to actively adjust its viewpoint to maintain visual contact with a moving target in complex environments. Existing AOT solutions are predominantly single-agent-based, which struggle in dynamic and complex scenarios due to limited information gathering and processing capabilities, often resulting in suboptimal decision-making. Alleviating these limitations necessitates the development of a multi-agent system where different agents perform distinct roles and collaborate to enhance learning and robustness in dynamic and complex environments. Although some multi-agent approaches exist for AOT, they typically rely on external auxiliary agents, which require additional devices, making them costly. In contrast, we introduce the Collaborative System for Active Object Tracking (CSAOT), a method that leverages multi-agent deep reinforcement learning (MADRL) and a Mixture of Experts (MoE) framework to enable multiple agents to operate on a single device, thereby improving tracking performance and reducing costs. Our approach enhances robustness against occlusions and rapid motion while optimizing camera movements to extend tracking duration. We validated the effectiveness of CSAOT on various interactive maps with dynamic and stationary obstacles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google