Probing the Latent Hierarchical Structure of Data via Diffusion Models

要約

高次元データを学習可能にするには、高度に構造化する必要があります。
データの構成的および階層的な性質は、学習可能性を説明するためによく提唱されますが、これらの特性を確立する定量的な測定はほとんどありません。
同様に、そのようなデータ構造の基礎となる潜在変数にアクセスすることも依然として課題です。
この研究では、データにノイズを加えてからノイズを除去して新しいサンプルを生成する、拡散ベースのモデルでの前方後方実験が、データの潜在構造を調査するための有望なツールであることを示します。
私たちは単純な階層モデルで、このプロセスでは、相転移が起こることが知られているノイズ レベルで発散する長さスケールを備えた、相関するチャンクによってデータの変更が発生すると予測します。
注目すべきことに、最先端の拡散モデルを使用して、テキストと画像の両方のデータセットでこの予測が確認されました。
私たちの結果は、潜在的な変数の変化がデータにどのように現れるかを示し、拡散モデルを使用して実際のデータでこれらの効果を測定する方法を確立します。

要約(オリジナル)

High-dimensional data must be highly structured to be learnable. Although the compositional and hierarchical nature of data is often put forward to explain learnability, quantitative measurements establishing these properties are scarce. Likewise, accessing the latent variables underlying such a data structure remains a challenge. In this work, we show that forward-backward experiments in diffusion-based models, where data is noised and then denoised to generate new samples, are a promising tool to probe the latent structure of data. We predict in simple hierarchical models that, in this process, changes in data occur by correlated chunks, with a length scale that diverges at a noise level where a phase transition is known to take place. Remarkably, we confirm this prediction in both text and image datasets using state-of-the-art diffusion models. Our results show how latent variable changes manifest in the data and establish how to measure these effects in real data using diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google