Semantic uncertainty intervals for disentangled latent spaces

要約

コンピュータビジョンにおける意味のある不確実性の定量化には、意味情報についての推論が必要です。たとえば、写真に写っている人物の髪の色や、路上での車の位置などです。
この目的のために、生成モデリングの最近の進歩により、解きほぐされた潜在空間で意味情報を表現することができますが、意味潜在変数の不確実性を提供することは依然として困難です。
この作業では、基礎となる生成モデルの真の意味論的要因を含むことが保証されている原理的な不確実性の間隔を提供します。
この方法は次のことを行います。（1）分位点回帰を使用して潜在空間の各要素のヒューリスティックな不確実性間隔を出力します。（2）これらの不確実性を較正して、新しい見えない入力の潜在値の真の値を含めます。
次に、これらのキャリブレーションされた間隔のエンドポイントをジェネレーターを介して伝播して、各セマンティックファクターの解釈可能な不確実性の視覚化を生成できます。
この手法は、画像の超解像や画像の完成などの逆問題において、意味的に意味があり、原理的で、インスタンスに適応する不確実性を確実に伝達します。

要約(オリジナル)

Meaningful uncertainty quantification in computer vision requires reasoning about semantic information — say, the hair color of the person in a photo or the location of a car on the street. To this end, recent breakthroughs in generative modeling allow us to represent semantic information in disentangled latent spaces, but providing uncertainties on the semantic latent variables has remained challenging. In this work, we provide principled uncertainty intervals that are guaranteed to contain the true semantic factors for any underlying generative model. The method does the following: (1) it uses quantile regression to output a heuristic uncertainty interval for each element in the latent space (2) calibrates these uncertainties such that they contain the true value of the latent for a new, unseen input. The endpoints of these calibrated intervals can then be propagated through the generator to produce interpretable uncertainty visualizations for each semantic factor. This technique reliably communicates semantically meaningful, principled, and instance-adaptive uncertainty in inverse problems like image super-resolution and image completion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google