Linking Vision and Multi-Agent Communication through Visible Light Communication using Event Cameras

要約

近い将来、さまざまなロボット、探査車、ドローンなどの量産品エージェントが交差し、連携する場面に遭遇すると予想されます。
このようなマルチエージェント システムでは、個人の識別とコミュニケーションが重要な役割を果たします。
この論文では、この問題に取り組むために、イベント カメラを使用したカメラベースの可視光通信を検討します。
イベントカメラは、明るさの変化のある領域で発生するイベントを捕捉し、その高い時間分解能を利用して可視光通信の受信機として利用できます。
一般に、量産製品で同一の外観を持つエージェントは、従来の CMOS カメラを使用した場合には視覚的に区別できません。
したがって、視覚情報と従来の無線通信で取得した情報を結び付けることは困難です。
私たちは、ArUco マーカー認識を備えた従来の CMOS カメラと比較して、視覚的な個人識別のためにイベント カメラと LED を採用した可視光通信システムの利点を実証します。
シミュレーションでは、視覚的に区別できないマルチエージェントが存在する状況において、イベントカメラベースの可視光通信が従来の無線通信を上回るシナリオも検証しました。
最後に、新しく実装されたマルチエージェント システムは、物理的なロボット実験を通じてその機能を検証します。

要約(オリジナル)

Various robots, rovers, drones, and other agents of mass-produced products are expected to encounter scenes where they intersect and collaborate in the near future. In such multi-agent systems, individual identification and communication play crucial roles. In this paper, we explore camera-based visible light communication using event cameras to tackle this problem. An event camera captures the events occurring in regions with changes in brightness and can be utilized as a receiver for visible light communication, leveraging its high temporal resolution. Generally, agents with identical appearances in mass-produced products are visually indistinguishable when using conventional CMOS cameras. Therefore, linking visual information with information acquired through conventional radio communication is challenging. We empirically demonstrate the advantages of a visible light communication system employing event cameras and LEDs for visual individual identification over conventional CMOS cameras with ArUco marker recognition. In the simulation, we also verified scenarios where our event camera-based visible light communication outperforms conventional radio communication in situations with visually indistinguishable multi-agents. Finally, our newly implemented multi-agent system verifies its functionality through physical robot experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google