Learning segmentation from point trajectories

要約

私たちは、他の形式の監視ではなく、動きに基づいてビデオ内のオブジェクトをセグメント化する問題を検討します。
これまでの研究では、運命共同体の原理、つまり、同じオブジェクトに属する点の動きには強い相関があるという事実を使用して、この問題にアプローチすることがよくありました。
しかし、ほとんどの著者はオプティカル フローから瞬間的な動きしか考慮していません。
この研究では、オプティカル フローを補完する監視信号として長期点軌跡を使用してセグメンテーション ネットワークをトレーニングする方法を紹介します。
主な問題点は、瞬間的な動きとは異なり、長期的な動きはモデル化が難しいことです。パラメトリック近似では、長期間にわたる複雑な動きのパターンを捉えることはできません。
代わりに、部分空間クラスタリングのアプローチからインスピレーションを得て、オブジェクト点の動きが他の点トラックの線形結合として近似的に説明できる低ランク行列に軌跡をグループ化しようとする損失関数を提案します。
我々の方法は、動きに基づくセグメンテーションに関して従来技術を上回っており、長期的な動きの有用性と我々の定式化の有効性を示している。

要約(オリジナル)

We consider the problem of segmenting objects in videos based on their motion and no other forms of supervision. Prior work has often approached this problem by using the principle of common fate, namely the fact that the motion of points that belong to the same object is strongly correlated. However, most authors have only considered instantaneous motion from optical flow. In this work, we present a way to train a segmentation network using long-term point trajectories as a supervisory signal to complement optical flow. The key difficulty is that long-term motion, unlike instantaneous motion, is difficult to model — any parametric approximation is unlikely to capture complex motion patterns over long periods of time. We instead draw inspiration from subspace clustering approaches, proposing a loss function that seeks to group the trajectories into low-rank matrices where the motion of object points can be approximately explained as a linear combination of other point tracks. Our method outperforms the prior art on motion-based segmentation, which shows the utility of long-term motion and the effectiveness of our formulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google