MixerFlow for Image Modelling

要約

正規化フローは、単一モデルからの密度推定とデータ生成の両方を可能にする全単射変換を使用して、複雑な密度をより単純な密度に変換する統計モデルです。
画像モデリングの文脈では、Glow ベースのアーキテクチャが主な選択となってきましたが、代替アーキテクチャは研究コミュニティではほとんど検討されていません。
この研究では、MLP-Mixer アーキテクチャに基づいて、生成モデリング アーキテクチャと識別モデリング アーキテクチャをさらに統合する、MixerFlow と呼ばれる新しいアーキテクチャを提案します。
MixerFlow は、フローベースのモデルに重みを共有するための効果的なメカニズムを提供します。
私たちの結果は、固定の計算予算とスケールの下で画像データセットの密度推定が向上し、画像解像度が増加することを示しており、MixeFlow は Glow ベースのアーキテクチャに代わる強力かつシンプルな代替手段となります。
また、MixerFlow が Glow ベースのアーキテクチャよりも有益な埋め込みを提供することも示します。

要約(オリジナル)

Normalising flows are statistical models that transform a complex density into a simpler density through the use of bijective transformations enabling both density estimation and data generation from a single model. In the context of image modelling, the predominant choice has been the Glow-based architecture, whereas alternative architectures remain largely unexplored in the research community. In this work, we propose a novel architecture called MixerFlow, based on the MLP-Mixer architecture, further unifying the generative and discriminative modelling architectures. MixerFlow offers an effective mechanism for weight sharing for flow-based models. Our results demonstrate better density estimation on image datasets under a fixed computational budget and scales well as the image resolution increases, making MixeFlow a powerful yet simple alternative to the Glow-based architectures. We also show that MixerFlow provides more informative embeddings than Glow-based architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google