Classifying geospatial objects from multiview aerial imagery using semantic meshes

要約

航空画像は、労働集約的な地上調査を補完するものとして、地球科学や天然資源管理においてますます使用されています。
航空システムは、さまざまな視点から各場所の複数のビューを提供する重なり合う画像を収集できます。
ただし、ほとんどの予測アプローチ (樹種分類など) は、単一の合成トップダウン「オルソモザイク」画像を入力として使用します。この画像には、オブジェクトの垂直面に関する情報がほとんどまたはまったく含まれておらず、処理アーティファクトが含まれる可能性があります。
私たちは、生の画像上で直接予測を生成し、セマンティック メッシュを使用してこれらの予測を地理空間座標に正確にマッピングする代替アプローチを提案します。
このメソッド$\unicode{x2013}$は使いやすいオープンソース ツールキットとしてリリースされました$\unicode{x2013}$により、アナリストは最高品質のデータを予測に使用し、物体の側面に関する情報を取得し、複数の視点を活用することができます。
各場所に配置され、堅牢性が向上します。
私たちは、ドローン画像、写真測量の結果、予測される樹木の位置、手動調査から得られた種分類データで構成される、米国西部の 4 つの森林サイトの新しいベンチマーク データセットでこのアプローチの価値を実証します。
私たちが提案したマルチビュー手法は、困難なクロスサイト樹種分類タスクにおいて、オルソモザイク ベースラインと比較して分類精度が 53% から 75% に向上することを示します。

要約(オリジナル)

Aerial imagery is increasingly used in Earth science and natural resource management as a complement to labor-intensive ground-based surveys. Aerial systems can collect overlapping images that provide multiple views of each location from different perspectives. However, most prediction approaches (e.g. for tree species classification) use a single, synthesized top-down ‘orthomosaic’ image as input that contains little to no information about the vertical aspects of objects and may include processing artifacts. We propose an alternate approach that generates predictions directly on the raw images and accurately maps these predictions into geospatial coordinates using semantic meshes. This method$\unicode{x2013}$released as a user-friendly open-source toolkit$\unicode{x2013}$enables analysts to use the highest quality data for predictions, capture information about the sides of objects, and leverage multiple viewpoints of each location for added robustness. We demonstrate the value of this approach on a new benchmark dataset of four forest sites in the western U.S. that consists of drone images, photogrammetry results, predicted tree locations, and species classification data derived from manual surveys. We show that our proposed multiview method improves classification accuracy from 53% to 75% relative to an orthomosaic baseline on a challenging cross-site tree species classification task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google