PatchDCT: Patch Refinement for High Quality Instance Segmentation

要約

コンピュータビジョンにおいて、高品質なインスタンスセグメンテーションの重要性が高まっている。DCT-Maskは、圧縮ベクトルから直接高解像度マスクを生成するため、精緻化を必要としない。本研究では、圧縮ベクトルによるマスクをさらに洗練させるために、圧縮ベクトルに基づく多段階の洗練フレームワークを初めて提案する。しかし、DCTベクトルの一部の要素の変化がマスク全体の予測に影響するため、バニラの組み合わせでは大きな利点を得ることはできない。そこで、我々はPatchDCTと名付けたシンプルで新しい手法を提案する。この手法は、DCTベクトルから復号されたマスクをいくつかのパッチに分離し、設計した分類器と回帰器によって各パッチを洗練させるものである。具体的には、分類器は混合パッチを全パッチから区別するため、また、過去に誤って予測された前景・背景パッチを修正するために使用される。一方、リグレッサは、混合パッチのDCTベクトル予測に用いられ、境界位置のセグメンテーション品質をさらに向上させる。本手法は，COCO，LVIS，Cityscapesにおいて，Mask-RCNNと比較して，それぞれAP2.0%，3.2%，4.5%，境界AP3.4%，5.3%，7.0%改善することが示された．また，COCO，LVIS，Cityscapesにおいて，DCT-Maskを0.7%, 1.1%, 1.3% APと0.9%, 1.7%, 4.2% Boundary APで上回っている．さらに，PatchDCTの性能は他の最先端手法にも引けを取らない．

要約(オリジナル)

High-quality instance segmentation has shown emerging importance in computer vision. Without any refinement, DCT-Mask directly generates high-resolution masks by compressed vectors. To further refine masks obtained by compressed vectors, we propose for the first time a compressed vector based multi-stage refinement framework. However, the vanilla combination does not bring significant gains, because changes in some elements of the DCT vector will affect the prediction of the entire mask. Thus, we propose a simple and novel method named PatchDCT, which separates the mask decoded from a DCT vector into several patches and refines each patch by the designed classifier and regressor. Specifically, the classifier is used to distinguish mixed patches from all patches, and to correct previously mispredicted foreground and background patches. In contrast, the regressor is used for DCT vector prediction of mixed patches, further refining the segmentation quality at boundary locations. Experiments on COCO show that our method achieves 2.0%, 3.2%, 4.5% AP and 3.4%, 5.3%, 7.0% Boundary AP improvements over Mask-RCNN on COCO, LVIS, and Cityscapes, respectively. It also surpasses DCT-Mask by 0.7%, 1.1%, 1.3% AP and 0.9%, 1.7%, 4.2% Boundary AP on COCO, LVIS and Cityscapes. Besides, the performance of PatchDCT is also competitive with other state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL