BoxVIS: Video Instance Segmentation with Box Annotations

要約

ビデオ内のピクセル単位のオブジェクト マスクにラベルを付けるには、費用と労力がかかります。
その結果、既存のビデオ インスタンス セグメンテーション (VIS) データセット内のピクセル単位のアノテーションの量が少なくなり、トレーニングされた VIS モデルの一般化能力が制限されます。
別の方法ですが、はるかに安価な解決策は、境界ボックスを使用してビデオ内のインスタンスにラベルを付けることです。
ボックス教師ありイメージ インスタンス セグメンテーションの最近の成功に触発され、最先端のピクセル教師あり VIS モデルをボックス教師あり VIS (BoxVIS) ベースラインに適応させたところ、わずかなパフォーマンスの低下が観察されました。
したがって、2 つの側面から BoxVIS のパフォーマンスを向上させることを提案します。
まず、空間的および時間的一貫性を向上させるためにインスタンス マスクを予測するためのボックス中心ガイド時空間ペアワイズ アフィニティ (STPA) 損失を提案します。
次に、現在の VIS ベンチマークからのビデオを統合し、COCO データセットの画像を短い擬似ビデオ クリップに変換することにより、より大規模なボックス アノテーション付き VIS データセット (BVISD) を収集します。
提案された BVISD と STPA 損失により、トレーニング済み BoxVIS モデルは、YouTube-VIS 2021 および OVIS 有効セットでそれぞれ 43.2\% と 29.0\% のマスク AP を達成します。
アノテーション時間とコストのわずか 16% を使用するだけで、最先端のピクセル教師あり VIS モデルと同等のインスタンス マスク予測パフォーマンスと優れた一般化能力を示します。
コードとデータは \url{https://github.com/MinghanLi/BoxVIS} にあります。

要約(オリジナル)

It is expensive and labour-extensive to label the pixel-wise object masks in a video. As a result, the amount of pixel-wise annotations in existing video instance segmentation (VIS) datasets is small, limiting the generalization capability of trained VIS models. An alternative but much cheaper solution is to use bounding boxes to label instances in videos. Inspired by the recent success of box-supervised image instance segmentation, we adapt the state-of-the-art pixel-supervised VIS models to a box-supervised VIS (BoxVIS) baseline, and observe slight performance degradation. We consequently propose to improve the BoxVIS performance from two aspects. First, we propose a box-center guided spatial-temporal pairwise affinity (STPA) loss to predict instance masks for better spatial and temporal consistency. Second, we collect a larger scale box-annotated VIS dataset (BVISD) by consolidating the videos from current VIS benchmarks and converting images from the COCO dataset to short pseudo video clips. With the proposed BVISD and the STPA loss, our trained BoxVIS model achieves 43.2\% and 29.0\% mask AP on the YouTube-VIS 2021 and OVIS valid sets, respectively. It exhibits comparable instance mask prediction performance and better generalization ability than state-of-the-art pixel-supervised VIS models by using only 16\% of their annotation time and cost. Codes and data can be found at \url{https://github.com/MinghanLi/BoxVIS}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google