A Multi-Resolution Framework for U-Nets with Applications to Hierarchical VAEs

要約

U-Net アーキテクチャは、最先端の深層学習ではどこにでもありますが、その正則化特性とウェーブレットとの関係は十分に研究されていません。
この論文では、無限次元関数空間上のモデルの有限次元切り捨てとして U-Net を識別する多重解像度フレームワークを定式化します。
平均プーリングが平方可積分関数の空間内の射影に対応することを証明する理論的結果を提供し、平均プーリングを使用する U-Net が暗黙的にデータの Haar ウェーブレット基底表現を学習することを示します。
次に、フレームワークを活用して、U-Net アーキテクチャを持つ最先端の階層型 VAE (HVAE) を、点塊から流れる多重解像度拡散プロセスの 2 ステップ フォワード オイラー離散化の一種として識別します。
、サンプリングの不安定性を導入します。
また、HVAE が時間の表現を学習し、重みの共有によってパラメーターの効率が向上することも示しています。
この観察結果を使用して、既存のモデルの半分のパラメーター数で最先端の HVAE パフォーマンスを達成し、連続時間定式化の特性を活用します。

要約(オリジナル)

U-Net architectures are ubiquitous in state-of-the-art deep learning, however their regularisation properties and relationship to wavelets are understudied. In this paper, we formulate a multi-resolution framework which identifies U-Nets as finite-dimensional truncations of models on an infinite-dimensional function space. We provide theoretical results which prove that average pooling corresponds to projection within the space of square-integrable functions and show that U-Nets with average pooling implicitly learn a Haar wavelet basis representation of the data. We then leverage our framework to identify state-of-the-art hierarchical VAEs (HVAEs), which have a U-Net architecture, as a type of two-step forward Euler discretisation of multi-resolution diffusion processes which flow from a point mass, introducing sampling instabilities. We also demonstrate that HVAEs learn a representation of time which allows for improved parameter efficiency through weight-sharing. We use this observation to achieve state-of-the-art HVAE performance with half the number of parameters of existing models, exploiting the properties of our continuous-time formulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google