Asynchronous Trajectory Matching-Based Multimodal Maritime Data Fusion for Vessel Traffic Surveillance in Inland Waterways

要約

自動識別システム (AIS) とビデオ カメラは、内陸水路での船舶交通監視に広く利用されています。
AIS データは、船舶の識別情報と、船舶の位置と動きに関する動的な情報を提供できます。
対照的に、ビデオ データは動いている船舶の視覚的外観を記述することができますが、身元、位置、動きなどの情報を知る必要はありません。
関心のある船舶の視覚的特徴、アイデンティティ、および動的情報。
ただし、従来のデータ融合方法は、非同期メッセージ、データの欠落、ランダムな外れ値など、いくつかの潜在的な制限に簡単に悩まされます。
AISベースの船舶情報を対応する視覚的ターゲットと融合するために、非同期軌道マッチングメソッド（DeepSORVFという名前）を有効にしました。
さらに、AIS とビデオベースの動きの機能を組み合わせることで、オクルージョン条件下で正確で堅牢な血管追跡結果を得るために、事前の知識に基づくオクルージョン防止方法も提示します。
DeepSORVF の有効性を検証するために、血管の検出、追跡、およびデータ融合のための新しいベンチマーク データセット (FVessel と呼ばれる) も構築しました。
これは、さまざまな気象条件や場所で収集された多くのビデオと対応する AIS データで構成されています。
実験結果は、我々の方法が信頼性の高いデータ融合と閉塞防止血管追跡を保証できることを実証しました。

要約(オリジナル)

The automatic identification system (AIS) and video cameras have been widely exploited for vessel traffic surveillance in inland waterways. The AIS data could provide the vessel identity and dynamic information on vessel position and movements. In contrast, the video data could describe the visual appearances of moving vessels, but without knowing the information on identity, position and movements, etc. To further improve vessel traffic surveillance, it becomes necessary to fuse the AIS and video data to simultaneously capture the visual features, identity and dynamic information for the vessels of interest. However, traditional data fusion methods easily suffer from several potential limitations, e.g., asynchronous messages, missing data, random outliers, etc. In this work, we first extract the AIS- and video-based vessel trajectories, and then propose a deep learning-enabled asynchronous trajectory matching method (named DeepSORVF) to fuse the AIS-based vessel information with the corresponding visual targets. In addition, by combining the AIS- and video-based movement features, we also present a prior knowledge-driven anti-occlusion method to yield accurate and robust vessel tracking results under occlusion conditions. To validate the efficacy of our DeepSORVF, we have also constructed a new benchmark dataset (termed FVessel) for vessel detection, tracking, and data fusion. It consists of many videos and the corresponding AIS data collected in various weather conditions and locations. The experimental results have demonstrated that our method is capable of guaranteeing high-reliable data fusion and anti-occlusion vessel tracking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google