Exploring the Semi-supervised Video Object Segmentation Problem from a Cyclic Perspective

要約

最新のビデオオブジェクトセグメンテーション（VOS）アルゴリズムは、順次処理順序で非常に高いパフォーマンスを実現していますが、現在普及しているパイプラインのほとんどは、累積エラー、不明な堅牢性、適切な解釈ツールの欠如など、明らかな不十分さを示しています。
このホワイトペーパーでは、半教師ありビデオオブジェクトのセグメンテーション問題を循環ワークフローに配置し、半教師ありVOSシステムの固有の循環特性を介して上記の欠陥にまとめて対処できることを確認します。
まず、標準のシーケンシャルフローに組み込まれた循環メカニズムにより、ピクセル単位の対応についてより一貫性のある表現を生成できます。
開始フレームの正確な参照マスクに依存して、エラー伝播の問題を軽減できることを示します。
次に、オフラインの循環パイプラインをオンラインの方法に自然に拡張する単純な勾配補正モジュールは、実行可能な計算コストを維持しながら、結果の高頻度で詳細な部分を強調表示して、セグメンテーション品質をさらに向上させることができます。
一方、このような修正により、干渉信号に起因する深刻なパフォーマンス低下からネットワークを保護できます。
最後に、勾配補正プロセスに基づいてサイクル有効受容野（cycle-ERF）を開発し、オブジェクト固有の関心領域を分析するための新しい視点を提供します。
DAVIS16、DAVIS17、Youtube-VOSの挑戦的なベンチマークについて包括的な比較と詳細な分析を行い、循環メカニズムがセグメンテーション品質の向上、VOSシステムの堅牢性の向上、さらにさまざまなVOSアルゴリズムの定性的な比較と解釈に役立つことを示します
仕事。
このプロジェクトのコードはhttps://github.com/lyxok1/STM-Trainingにあります。

要約(オリジナル)

Modern video object segmentation (VOS) algorithms have achieved remarkably high performance in a sequential processing order, while most of currently prevailing pipelines still show some obvious inadequacy like accumulative error, unknown robustness or lack of proper interpretation tools. In this paper, we place the semi-supervised video object segmentation problem into a cyclic workflow and find the defects above can be collectively addressed via the inherent cyclic property of semi-supervised VOS systems. Firstly, a cyclic mechanism incorporated to the standard sequential flow can produce more consistent representations for pixel-wise correspondance. Relying on the accurate reference mask in the starting frame, we show that the error propagation problem can be mitigated. Next, a simple gradient correction module, which naturally extends the offline cyclic pipeline to an online manner, can highlight the high-frequent and detailed part of results to further improve the segmentation quality while keeping feasible computation cost. Meanwhile such correction can protect the network from severe performance degration resulted from interference signals. Finally we develop cycle effective receptive field (cycle-ERF) based on gradient correction process to provide a new perspective into analyzing object-specific regions of interests. We conduct comprehensive comparison and detailed analysis on challenging benchmarks of DAVIS16, DAVIS17 and Youtube-VOS, demonstrating that the cyclic mechanism is helpful to enhance segmentation quality, improve the robustness of VOS systems, and further provide qualitative comparison and interpretation on how different VOS algorithms work. The code of this project can be found at https://github.com/lyxok1/STM-Training

arxiv情報

提供元, 利用サービス

arxiv.jp, Google