Patch Tracking-based Streaming Tensor Ring Completion for Visual Data Recovery

要約

テンソル補完は、部分的に観測されたテンソルの欠落したエントリをその低ランク構造を利用して回復することを目的としており、視覚的なデータ回復に適用されています。
ストリーミング ビデオの完了など、データが順次到着するアプリケーションでは、テンソルの不足しているエントリをストリーミング方式で動的に回復する必要があります。
従来のストリーミング テンソル補完アルゴリズムは、ビジュアル データ全体をテンソルとして扱います。これは、ビデオ フレーム全体の強い動きなどにより、時間次元に沿ってテンソル部分空間に大きな変化がある場合、満足に機能しない可能性があります。
この論文では、視覚的なデータ回復のための新しいパッチ追跡ベースのストリーミング テンソル リング補完フレームワークを開発します。
新たに着信するフレームが与えられると、小さなパッチが前のフレームから追跡されます。
一方、追跡されたパッチごとに、新しいフレームから同様のパッチを積み重ねることによって、パッチ テンソルが構築されます。
次に、ストリーミング テンソル リング補完アルゴリズムを使用してパッチ テンソルが完成され、完成したパッチ テンソルを使用して着信フレームが復元されます。
データが欠落しているパッチを正確かつ効率的に追跡できる新しいパッチ追跡戦略を提案します。
さらに、潜在的なコア テンソルを効率的かつ正確に更新し、パッチ テンソルの欠落したエントリを完成させることができる、新しいストリーミング テンソル リング完成アルゴリズムが提案されています。
広範な実験結果は、バッチおよびストリーミングの両方の最先端のテンソル補完方法と比較して、提案されたアルゴリズムの優れたパフォーマンスを示しています。

要約(オリジナル)

Tensor completion aims to recover the missing entries of a partially observed tensor by exploiting its low-rank structure, and has been applied to visual data recovery. In applications where the data arrives sequentially such as streaming video completion, the missing entries of the tensor need to be dynamically recovered in a streaming fashion. Traditional streaming tensor completion algorithms treat the entire visual data as a tensor, which may not work satisfactorily when there is a big change in the tensor subspace along the temporal dimension, such as due to strong motion across the video frames. In this paper, we develop a novel patch tracking-based streaming tensor ring completion framework for visual data recovery. Given a newly incoming frame, small patches are tracked from the previous frame. Meanwhile, for each tracked patch, a patch tensor is constructed by stacking similar patches from the new frame. Patch tensors are then completed using a streaming tensor ring completion algorithm, and the incoming frame is recovered using the completed patch tensors. We propose a new patch tracking strategy that can accurately and efficiently track the patches with missing data. Further, a new streaming tensor ring completion algorithm is proposed which can efficiently and accurately update the latent core tensors and complete the missing entries of the patch tensors. Extensive experimental results demonstrate the superior performance of the proposed algorithms compared with both batch and streaming state-of-the-art tensor completion methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google