Disentangling Mean Embeddings for Better Diagnostics of Image Generators

要約

画像ジェネレーターの評価は、特定の画像領域に対する微妙な洞察を提供する際の従来の指標の限界により、依然として課題が残っています。
画像のすべての領域を同じように簡単に学習できるわけではないため、これは重大な問題です。
この研究では、中央カーネル アライメントを介して、平均埋め込みのコサイン類似度を個々のピクセル クラスターのコサイン類似度の積に解きほぐす新しいアプローチを提案します。
その結果、全体的な画像生成パフォーマンスに対するクラスターごとのパフォーマンスの寄与を定量化できます。
これにより、説明可能性がどのように向上し、実際のさまざまなユースケースでモデルの不正動作のピクセル領域を特定する可能性がどのように高まるかを示します。

要約(オリジナル)

The evaluation of image generators remains a challenge due to the limitations of traditional metrics in providing nuanced insights into specific image regions. This is a critical problem as not all regions of an image may be learned with similar ease. In this work, we propose a novel approach to disentangle the cosine similarity of mean embeddings into the product of cosine similarities for individual pixel clusters via central kernel alignment. Consequently, we can quantify the contribution of the cluster-wise performance to the overall image generation performance. We demonstrate how this enhances the explainability and the likelihood of identifying pixel regions of model misbehavior across various real-world use cases.

arxiv情報

著者 Sebastian G. Gruber,Pascal Tobias Ziegler,Florian Buettner
発行日 2024-12-12 18:21:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG パーマリンク