MarineVRS: Marine Video Retrieval System with Explainability via Semantic Understanding

要約

特に海洋環境において堅牢で信頼性の高いビデオ検索システムを構築することは、大量の高密度で反復的なデータ、オクルージョン、ぼやけ、低照明条件、抽象的なクエリの処理などのいくつかの要因により、困難な作業です。
これらの課題に対処するために、海洋ドメイン向けに特別に設計された斬新で柔軟なビデオ検索システム、MarineVRS を紹介します。
MarineVRS は、視覚的および言語的なオブジェクト表現のための最先端の手法を統合し、膨大な量の水中ビデオ データの効率的かつ正確な検索と分析を可能にします。
さらに、ユーザーが画像やビデオのコレクションにインデックスを付け、自由形式の自然言語文を使用して検索することのみを許可する従来のビデオ検索システムとは異なり、当社の検索システムには、オブジェクトのセグメンテーション マスクを出力する追加の説明可能性モジュールが含まれています。
参照される入力クエリ。
この機能により、ユーザーはビデオ映像内の特定のオブジェクトを識別して分離できるため、その動作や動きをより詳細に分析して理解することができます。
最後に、MarineVRS は適応性、説明可能性、正確性、拡張性を備えており、海洋研究者や科学者が膨大な量のデータを効率的かつ正確に処理し、海洋種の行動や動きについてより深い洞察を得ることができる強力なツールです。

要約(オリジナル)

Building a video retrieval system that is robust and reliable, especially for the marine environment, is a challenging task due to several factors such as dealing with massive amounts of dense and repetitive data, occlusion, blurriness, low lighting conditions, and abstract queries. To address these challenges, we present MarineVRS, a novel and flexible video retrieval system designed explicitly for the marine domain. MarineVRS integrates state-of-the-art methods for visual and linguistic object representation to enable efficient and accurate search and analysis of vast volumes of underwater video data. In addition, unlike the conventional video retrieval system, which only permits users to index a collection of images or videos and search using a free-form natural language sentence, our retrieval system includes an additional Explainability module that outputs the segmentation masks of the objects that the input query referred to. This feature allows users to identify and isolate specific objects in the video footage, leading to more detailed analysis and understanding of their behavior and movements. Finally, with its adaptability, explainability, accuracy, and scalability, MarineVRS is a powerful tool for marine researchers and scientists to efficiently and accurately process vast amounts of data and gain deeper insights into the behavior and movements of marine species.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google