Quantifying the uncertainty of model-based synthetic image quality metrics

要約

合成的に生成された画像（例えば拡散モデルによって生成された画像）の品質は、事前に学習された補助モデルによって符号化された画像コンテンツに関する情報を用いて評価されることが多い。例えば、Fr{e}chet Inception Distance (FID)は、ImageNetを分類するために事前に学習されたInceptionV3モデルからの埋め込みを使用する。この特徴埋め込みモデルの有効性は、計算されたメトリックの信頼性に大きな影響を与える（医用画像を含むいくつかのドメインでの適性に影響する）。ここでは、不確実性定量化(UQ)を用いて、特徴埋め込みモデルの信頼性の発見的尺度を提供し、Fr{e}chet Autoencoder Distance (FAED)と呼ばれるFID類似の尺度を提供する。特徴埋め込みモデル（畳み込みオートエンコーダ）にモンテカルロドロップアウトを適用し、その埋め込みにおける不確実性をモデル化する。そして、各入力に対する埋め込み値の分布を用いて、FAED値の分布を計算する。我々は、埋め込み値の予測分散と、計算されたFAED値の標準偏差として不確実性を表現する。これらの大きさは、入力がモデルの学習データに対してどの程度分布から外れているかということと相関しており、FAEDの信頼性を評価する能力を検証することができる。

要約(オリジナル)

The quality of synthetically generated images (e.g. those produced by diffusion models) are often evaluated using information about image contents encoded by pretrained auxiliary models. For example, the Fr\'{e}chet Inception Distance (FID) uses embeddings from an InceptionV3 model pretrained to classify ImageNet. The effectiveness of this feature embedding model has considerable impact on the trustworthiness of the calculated metric (affecting its suitability in several domains, including medical imaging). Here, uncertainty quantification (UQ) is used to provide a heuristic measure of the trustworthiness of the feature embedding model and an FID-like metric called the Fr\'{e}chet Autoencoder Distance (FAED). We apply Monte Carlo dropout to a feature embedding model (convolutional autoencoder) to model the uncertainty in its embeddings. The distribution of embeddings for each input are then used to compute a distribution of FAED values. We express uncertainty as the predictive variance of the embeddings as well as the standard deviation of the computed FAED values. We find that their magnitude correlates with the extent to which the inputs are out-of-distribution to the model’s training data, providing some validation of its ability to assess the trustworthiness of the FAED.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL