Success or Failure? Analyzing Segmentation Refinement with Few-Shot Segmentation

要約

セグメンテーションの精緻化の目的は、セグメンテーションアルゴリズムによって生成された最初の粗いマスクを強化することである。洗練されたマスクは、ターゲットオブジェクトの詳細と輪郭を捉えることが期待される。セグメンテーションの精密化に関する研究は、高品質な初期マスクの必要性への対応として発展してきた。しかし、我々の知る限り、セグメンテーション精密化の成功を判定できる手法は開発されていない。このような手法は、セグメンテーションの結果が重要なアプリケーションにおいて、セグメンテーションの信頼性を保証し、画像処理技術の革新を促進する。この研究ギャップを解決するために、我々はJFS〜(Judging From Support-set)を提案する。JFS〜は、数ショットセグメンテーション(FSS)モデルを活用して、セグメンテーションの洗練の成功を識別する手法である。FSSにおける伝統的な問題の目標は、サポートセットによって与えられるターゲット情報を利用して、クエリ画像からターゲットオブジェクトを見つけることである。しかし、我々の提案する手法では、セグメンテーションの洗練度を評価するために、新しい方法でFSSネットワークを利用する。粗いマスクと、セグメンテーションの精緻化によって精緻化されたマスクの2つのマスクがあるとき、この2つのマスクがサポートマスクとなる。既存のサポートマスクは、精緻化されたセグメンテーションの品質が粗いマスクよりも正確かどうかを判定するためのグランドトゥルースマスクとして機能する。まず粗いマスクを得て、SEPL (SAM Enhanced Pseduo-Labels)を用いて精緻化し、2つのマスクを得る。そして、これらがFSSモデルの入力となり、後処理が成功したかどうかを判定する。JFSの有効性を検証するため、SEPLから得られた最良のケースと最悪のケースでJFSを評価した。その結果、JFSはSEPLが成功したか否かを判定できることが示された。

要約(オリジナル)

The purpose of segmentation refinement is to enhance the initial coarse masks generated by segmentation algorithms. The refined masks are expected to capture the details and contours of the target objects. Research on segmentation refinement has developed as a response to the need for high-quality initial masks. However, to our knowledge, no method has been developed that can determine the success of segmentation refinement. Such a method could ensure the reliability of segmentation in applications where the outcome of the segmentation is important, and fosters innovation in image processing technologies. To address this research gap, we propose JFS~(Judging From Support-set), a method to identify the success of segmentation refinement leveraging a few-shot segmentation (FSS) model. The traditional goal of the problem in FSS is to find a target object in a query image utilizing target information given by a support set. However, in our proposed method, we use the FSS network in a novel way to assess the segmentation refinement. When there are two masks, a coarse mask and a refined mask from segmentation refinement, these two masks become support masks. The existing support mask works as a ground truth mask to judge whether the quality of the refined segmentation is more accurate than the coarse mask. We first obtained a coarse mask and refined it using SEPL (SAM Enhanced Pseduo-Labels) to get the two masks. Then, these become input to FSS model to judge whether the post-processing was successful. JFS is evaluated on the best and worst cases from SEPL to validate its effectiveness. The results showed that JFS can determine whether the SEPL is a success or not.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL