Latent-INR: A Flexible Framework for Implicit Representations of Videos with Discriminative Semantics

要約

Implicit Neural Networks (INR) は、画像、ビデオ、オーディオ、シーンなどのあらゆる形式のデータをエンコードする強力な表現として登場しました。
ビデオでは、圧縮タスク用にビデオ用の多くの INR が提案されており、最近の方法では、エンコード時間、ストレージ、および再構成品質に関して大幅な改善が行われています。
ただし、これらのエンコードされた表現には意味論的な意味がないため、検索など、そのようなプロパティを必要とするダウンストリーム タスクには使用できません。
ビデオ INR は圧縮以外に大きな利点を提供しないため、これは従来のコーデックよりもビデオ INR を採用する際の障壁となる可能性があります。
これを軽減するために、ビデオ INR の空間的側面と時間的側面を分離する柔軟なフレームワークを提案します。
これは、ビデオ固有のハイパーネットワークのセットと共同で学習されるフレームごとの潜在の辞書を使用してこれを実現します。これにより、潜在が与えられた場合、これらのハイパーネットワークは INR 重みを予測して所定のフレームを再構築できます。
このフレームワークは圧縮効率を維持するだけでなく、学習された潜在を大規模視覚モデルの特徴と一致させることができ、識別特性を付与します。
これらの潜在力を CLIP と調整し、圧縮タスクとビデオ検索タスクの両方で優れたパフォーマンスを示します。
VideoLlama と連携することで、学習した潜在力を視覚的なインプットとしてオープンエンドのチャットを実行できるようになります。
さらに、学習された潜在は基礎となる重みのプロキシとして機能し、ビデオ補間などのタスクを実行できるようになります。
これらのセマンティック プロパティとアプリケーションは、圧縮、補間、および超解像度プロパティを実行する機能と同時に存在し、この分野の研究では初めてのものです。

要約(オリジナル)

Implicit Neural Networks (INRs) have emerged as powerful representations to encode all forms of data, including images, videos, audios, and scenes. With video, many INRs for video have been proposed for the compression task, and recent methods feature significant improvements with respect to encoding time, storage, and reconstruction quality. However, these encoded representations lack semantic meaning, so they cannot be used for any downstream tasks that require such properties, such as retrieval. This can act as a barrier for adoption of video INRs over traditional codecs as they do not offer any significant edge apart from compression. To alleviate this, we propose a flexible framework that decouples the spatial and temporal aspects of the video INR. We accomplish this with a dictionary of per-frame latents that are learned jointly with a set of video specific hypernetworks, such that given a latent, these hypernetworks can predict the INR weights to reconstruct the given frame. This framework not only retains the compression efficiency, but the learned latents can be aligned with features from large vision models, which grants them discriminative properties. We align these latents with CLIP and show good performance for both compression and video retrieval tasks. By aligning with VideoLlama, we are able to perform open-ended chat with our learned latents as the visual inputs. Additionally, the learned latents serve as a proxy for the underlying weights, allowing us perform tasks like video interpolation. These semantic properties and applications, existing simultaneously with ability to perform compression, interpolation, and superresolution properties, are a first in this field of work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google