DPF: Learning Dense Prediction Fields with Weak Supervision

要約

現在、多くの視覚的シーン理解の問題は、密な予測ネットワークによって対処されています。
しかし、ピクセル単位の密な注釈は非常に高価 (シーンの解析など) または不可能 (組み込みの画像分解など) であるため、安価なポイントレベルの弱い監視を利用する動機になります。
ただし、既存の点監視型メソッドは、完全な監視用に設計された同じアーキテクチャを引き続き使用します。
それらとはまったく対照的に、距離や放射輝度フィールドなどの暗黙的な表現の最近の成功に触発されて、ポイント座標クエリの予測を行う新しいパラダイムを提案します。
そのため、この方法は高密度予測フィールド (DPF) と呼ばれます。
DPF は、連続するサブピクセル位置の表現力豊かな中間機能を生成するため、任意の解像度の出力が可能になります。
DPF は当然、ポイント レベルの監視と互換性があります。
高レベルのセマンティック解析と低レベルの固有の画像分解という 2 つの実質的に異なるタスクを使用して、DPF の有効性を紹介します。
これら 2 つのケースでは、監視はそれぞれ、1 点セマンティック カテゴリと 2 点相対反射率の形式で行われます。
3 つの大規模な公開データセットである PASCALContext、ADE20K、および IIW によってベンチマークされたように、DPF はそれらすべてで新しい最先端のパフォーマンスを大幅なマージンで設定しました。
コードは https://github.com/cxx226/DPF でアクセスできます。

要約(オリジナル)

Nowadays, many visual scene understanding problems are addressed by dense prediction networks. But pixel-wise dense annotations are very expensive (e.g., for scene parsing) or impossible (e.g., for intrinsic image decomposition), motivating us to leverage cheap point-level weak supervision. However, existing pointly-supervised methods still use the same architecture designed for full supervision. In stark contrast to them, we propose a new paradigm that makes predictions for point coordinate queries, as inspired by the recent success of implicit representations, like distance or radiance fields. As such, the method is named as dense prediction fields (DPFs). DPFs generate expressive intermediate features for continuous sub-pixel locations, thus allowing outputs of an arbitrary resolution. DPFs are naturally compatible with point-level supervision. We showcase the effectiveness of DPFs using two substantially different tasks: high-level semantic parsing and low-level intrinsic image decomposition. In these two cases, supervision comes in the form of single-point semantic category and two-point relative reflectance, respectively. As benchmarked by three large-scale public datasets PASCALContext, ADE20K and IIW, DPFs set new state-of-the-art performance on all of them with significant margins. Code can be accessed at https://github.com/cxx226/DPF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google