Designing A Sustainable Marine Debris Clean-up Framework without Human Labels

要約

海洋ゴミは、鳥、魚、その他の動物に重大な生態学的脅威をもたらします。
がれきの蓄積を評価する従来の方法では、労力と費用がかかる手動調査が必要です。
この研究では、ドローンで撮影した航空画像を活用して遠隔地でゴミ調査を行う枠組みを紹介します。
コンピューター ビジョン技術を活用した当社のアプローチは、海洋ゴミの分布を検出、分類、マッピングします。
このフレームワークは、変圧器ベースのゼロショット物体検出器である Grounding DINO と、ゼロショット物体分類用のビジョン言語モデルである CLIP を使用しており、トレーニング ラベルを必要とせずに材料タイプに基づいてデブリ物体の検出と分類を可能にします。
同じオブジェクトの異なるビューによる過剰カウントを軽減するために、ローカル オブジェクトの特徴を使用した重複マッチングにスケール不変特徴変換 (SIFT) が採用されています。
さらに、クリーンアップ作業をサポートするための物体の検出、分類、地図上での視覚化など、ドローン画像のエンドツーエンド分析を容易にするユーザーフレンドリーな Web アプリケーションを開発しました。
私たちの手法は、ラベル付きデータを使用せずに、7 つのデブリ物体クラスにわたって検出 (平均 IoU 0.69) と分類 (F1 スコア 0.74) で競争力のあるパフォーマンスを達成しており、最先端の教師あり手法に匹敵します。
この枠組みは、自動化されたゴミサンプリング調査を合理化し、効率的で持続可能な地域主導の清掃活動を促進する可能性を秘めています。

要約(オリジナル)

Marine debris poses a significant ecological threat to birds, fish, and other animal life. Traditional methods for assessing debris accumulation involve labor-intensive and costly manual surveys. This study introduces a framework that utilizes aerial imagery captured by drones to conduct remote trash surveys. Leveraging computer vision techniques, our approach detects, classifies, and maps marine debris distributions. The framework uses Grounding DINO, a transformer-based zero-shot object detector, and CLIP, a vision-language model for zero-shot object classification, enabling the detection and classification of debris objects based on material type without the need for training labels. To mitigate over-counting due to different views of the same object, Scale-Invariant Feature Transform (SIFT) is employed for duplicate matching using local object features. Additionally, we have developed a user-friendly web application that facilitates end-to-end analysis of drone images, including object detection, classification, and visualization on a map to support cleanup efforts. Our method achieves competitive performance in detection (0.69 mean IoU) and classification (0.74 F1 score) across seven debris object classes without labeled data, comparable to state-of-the-art supervised methods. This framework has the potential to streamline automated trash sampling surveys, fostering efficient and sustainable community-led cleanup initiatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google