FeatUp: A Model-Agnostic Framework for Features at Any Resolution

要約

ディープ フィーチャーはコンピューター ビジョン研究の基礎であり、画像のセマンティクスをキャプチャし、ゼロショットまたは数ショットの体制でもコミュニティが下流のタスクを解決できるようにします。
ただし、モデルは広範囲にわたる情報を積極的にプールするため、これらの機能には、セグメンテーションや深度予測などの高密度の予測タスクを直接実行するための空間解像度が欠けていることがよくあります。
この研究では、ディープ フィーチャで失われた空間情報を復元する、タスクおよびモデルに依存しないフレームワークである FeatUp を紹介します。
FeatUp の 2 つのバリアントを紹介します。1 つは単一のフォワード パスで高解像度信号を使用して特徴をガイドするもの、もう 1 つは暗黙的なモデルを単一の画像に適合させて任意の解像度で特徴を再構築するものです。
どちらのアプローチも、NeRF との類似性を備えたマルチビューの一貫性損失を使用します。
当社の機能は元のセマンティクスを保持しており、再トレーニングしなくても既存のアプリケーションに交換して解像度とパフォーマンスの向上を実現できます。
FeatUp は、クラス アクティベーション マップの生成、セグメンテーションと深さ予測のための転移学習、およびセマンティック セグメンテーションのためのエンドツーエンド トレーニングにおいて、他の特徴アップサンプリングおよび画像超解像度アプローチよりも大幅に優れていることを示します。

要約(オリジナル)

Deep features are a cornerstone of computer vision research, capturing image semantics and enabling the community to solve downstream tasks even in the zero- or few-shot regime. However, these features often lack the spatial resolution to directly perform dense prediction tasks like segmentation and depth prediction because models aggressively pool information over large areas. In this work, we introduce FeatUp, a task- and model-agnostic framework to restore lost spatial information in deep features. We introduce two variants of FeatUp: one that guides features with high-resolution signal in a single forward pass, and one that fits an implicit model to a single image to reconstruct features at any resolution. Both approaches use a multi-view consistency loss with deep analogies to NeRFs. Our features retain their original semantics and can be swapped into existing applications to yield resolution and performance gains even without re-training. We show that FeatUp significantly outperforms other feature upsampling and image super-resolution approaches in class activation map generation, transfer learning for segmentation and depth prediction, and end-to-end training for semantic segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google