H-EMD: A Hierarchical Earth Mover’s Distance Method for Instance Segmentation

要約

ディープラーニング（DL）ベースのセマンティックセグメンテーション手法は、生物医学画像セグメンテーションで優れたパフォーマンスを実現し、高品質の確率マップを生成して、豊富なインスタンス情報を抽出し、優れたインスタンスセグメンテーションを促進します。
新しいDLセマンティックセグメンテーションモデルの開発に多くの努力が払われましたが、可能な限り最良のインスタンスセグメンテーションを達成するために確率マップを効果的に探索する方法の重要な問題にはあまり注意が払われませんでした。
DLセマンティックセグメンテーションモデルによる確率マップを使用して、多くの可能なインスタンス候補を生成でき、それらから出力インスタンスとして「最適化された」候補のセットを選択することにより、正確なインスタンスセグメンテーションを実現できます。
さらに、生成されたインスタンス候補は、正常に動作する階層構造（フォレスト）を形成し、最適化された方法でインスタンスを選択できるようにします。
したがって、階層的地球移動距離（H-EMD）と呼ばれる新しいフレームワークを提案します。たとえば、生物医学的な2D +時間ビデオおよび3D画像でのセグメンテーションは、セマンティックセグメンテーションによって生成された確率マップと一貫したインスタンス選択を慎重に組み込んでいます。
H-EMDには2つの主要な段階があります。
（1）インスタンス候補の生成：フォレスト構造で多くのインスタンス候補を生成することにより、確率マップでインスタンス構造の情報をキャプチャします。
（2）インスタンス候補の選択：最終的なインスタンスのセグメンテーションのために候補セットからインスタンスを選択します。
地球移動距離（EMD）に基づく最適化問題として、インスタンス候補フォレストのキーインスタンス選択問題を定式化し、整数線形計画法によって解きます。
8つの生物医学ビデオまたは3Dデータセットでの広範な実験は、H-EMDが一貫してDLセマンティックセグメンテーションモデルを強化し、最先端の方法と非常に競争力があることを示しています。

要約(オリジナル)

Deep learning (DL) based semantic segmentation methods have achieved excellent performance in biomedical image segmentation, producing high quality probability maps to allow extraction of rich instance information to facilitate good instance segmentation. While numerous efforts were put into developing new DL semantic segmentation models, less attention was paid to a key issue of how to effectively explore their probability maps to attain the best possible instance segmentation. We observe that probability maps by DL semantic segmentation models can be used to generate many possible instance candidates, and accurate instance segmentation can be achieved by selecting from them a set of ‘optimized’ candidates as output instances. Further, the generated instance candidates form a well-behaved hierarchical structure (a forest), which allows selecting instances in an optimized manner. Hence, we propose a novel framework, called hierarchical earth mover’s distance (H-EMD), for instance segmentation in biomedical 2D+time videos and 3D images, which judiciously incorporates consistent instance selection with semantic-segmentation-generated probability maps. H-EMD contains two main stages. (1) Instance candidate generation: capturing instance-structured information in probability maps by generating many instance candidates in a forest structure. (2) Instance candidate selection: selecting instances from the candidate set for final instance segmentation. We formulate a key instance selection problem on the instance candidate forest as an optimization problem based on the earth mover’s distance (EMD), and solve it by integer linear programming. Extensive experiments on eight biomedical video or 3D datasets demonstrate that H-EMD consistently boosts DL semantic segmentation models and is highly competitive with state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google