CAML: Collaborative Auxiliary Modality Learning for Multi-Agent Systems

要約

マルチモダリティ学習は、自律運転、ロボット工学、知覚システムなどのドメイン全体で機械学習アプリケーションのパフォーマンスを改善するための重要な手法となっています。
補助モダリティ学習（AML）などの既存のフレームワークは、トレーニング中に複数のデータソースを効果的に利用し、モダリティを減らして推論を可能にしますが、それらは主に単一エージェントのコンテキストで動作します。
この制限は、接続された自動運転車（CAV）などの動的環境で特に重要です。ここでは、不完全なデータカバレッジが意思決定の盲点につながる可能性があります。
これらの課題に対処するために、共同補助モダリティ学習（$ \ textBf {caml} $）を提案します。これは、エージェントがトレーニング中にマルチモーダルデータを協力して共有できるようにしながら、エージェントあたりのエージェントあたりのモダリティの減少を可能にしながら、エージェントがトレーニング中にマルチモーダルデータを協力して共有できるようにすることを提案します。
テスト。
不確実性の削減とデータカバレッジの観点から、$ \ textBf {caml} $の有効性を体系的に分析し、AMLに対する利点に対する理論的洞察を提供します。
事故が発生しやすいシナリオでのCAVの共同意思決定における実験結果は、\ ours〜が事故検出の$ {\ bf 58.13} \％$の改善を達成することを示しています。
さらに、コラボレーションセマンティックセグメンテーションのために、実際の空中ロボットデータの$ \ textBf {caml} $を検証し、MIOUで最大{\ bf 10.61} \％$の改善を達成します。

要約(オリジナル)

Multi-modality learning has become a crucial technique for improving the performance of machine learning applications across domains such as autonomous driving, robotics, and perception systems. While existing frameworks such as Auxiliary Modality Learning (AML) effectively utilize multiple data sources during training and enable inference with reduced modalities, they primarily operate in a single-agent context. This limitation is particularly critical in dynamic environments, such as connected autonomous vehicles (CAV), where incomplete data coverage can lead to decision-making blind spots. To address these challenges, we propose Collaborative Auxiliary Modality Learning ($\textbf{CAML}$), a novel multi-agent multi-modality framework that enables agents to collaborate and share multimodal data during training while allowing inference with reduced modalities per agent during testing. We systematically analyze the effectiveness of $\textbf{CAML}$ from the perspective of uncertainty reduction and data coverage, providing theoretical insights into its advantages over AML. Experimental results in collaborative decision-making for CAV in accident-prone scenarios demonstrate that \ours~achieves up to a ${\bf 58.13}\%$ improvement in accident detection. Additionally, we validate $\textbf{CAML}$ on real-world aerial-ground robot data for collaborative semantic segmentation, achieving up to a ${\bf 10.61}\%$ improvement in mIoU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google