FInC Flow: Fast and Invertible $k \times k$ Convolutions for Normalizing Flows

要約

可逆畳み込みは、Glow で導入されて以来、表現力豊かな正規化フローベースの生成モデルを構築するための不可欠な要素となっています。
トレーニングとサンプリング パスで効率的な可逆な $k \times k$ 畳み込みを設計する試みがいくつか行われました。
これらの試みは表現力とサンプリング効率を改善しましたが、サンプリング時間の点で $1 \times 1$ 畳み込みしか使用しなかった Glow に大きく遅れをとっていました。
また、アプローチの多くは、基礎となる畳み込みの多数のパラメーターをマスクするため、固定された実行時間の予算では表現力が低下します。
$k \times k$ 畳み込み層とディープ ノーマライズ フロー アーキテクチャを提案します。i.) 実行時間 O$(n k^2)$ ($n$ は入力画像の高さと幅、
k はカーネル サイズ)、ii.) レイヤー内の最小量の学習可能なパラメーターをマスクします。
iii.) 実世界のベンチマークで、他の $k \times k$ 畳み込みベースのモデルに匹敵する優れたフォワード パスとサンプリング時間を提供します。
GPU で可逆畳み込みを使用して、サンプリング用に提案された並列アルゴリズムの実装を提供します。
CIFAR-10、ImageNet、および CelebA データセットのベンチマークは、サンプリング時間を大幅に改善しながら、次元あたりのビット数に関して以前の作業に匹敵するパフォーマンスを示しています。

要約(オリジナル)

Invertible convolutions have been an essential element for building expressive normalizing flow-based generative models since their introduction in Glow. Several attempts have been made to design invertible $k \times k$ convolutions that are efficient in training and sampling passes. Though these attempts have improved the expressivity and sampling efficiency, they severely lagged behind Glow which used only $1 \times 1$ convolutions in terms of sampling time. Also, many of the approaches mask a large number of parameters of the underlying convolution, resulting in lower expressivity on a fixed run-time budget. We propose a $k \times k$ convolutional layer and Deep Normalizing Flow architecture which i.) has a fast parallel inversion algorithm with running time O$(n k^2)$ ($n$ is height and width of the input image and k is kernel size), ii.) masks the minimal amount of learnable parameters in a layer. iii.) gives better forward pass and sampling times comparable to other $k \times k$ convolution-based models on real-world benchmarks. We provide an implementation of the proposed parallel algorithm for sampling using our invertible convolutions on GPUs. Benchmarks on CIFAR-10, ImageNet, and CelebA datasets show comparable performance to previous works regarding bits per dimension while significantly improving the sampling time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google