Linear combinations of latents in generative models: subspaces and beyond

要約

生成モデルからのサンプリングは、データ統合や増強などのアプリケーションにとって重要なツールになりました。
拡散、フローマッチング、および連続的な正規化フローは、さまざまなモダリティにわたって有効性を示し、生成の潜在変数に依存しています。
生成プロセスをより制御する必要がある実験設計または創造的なアプリケーションの場合、潜在変数を直接操作することが一般的になりました。
ただし、このような操作を実行するための既存のアプローチ（例：補間や低次元表現の形成など）は、特別な場合にのみうまく機能するか、ネットワークまたはデータモダリティ固有です。
生成モデルの仮定に準拠する潜在変数の線形組み合わせを形成する汎用方法として、潜在変数（LOL）の線形結合を提案します。
LOLは実装が簡単で、線形の組み合わせを形成するというより広いタスクに自然に対処しているためです。
潜在空間の部分空間の構築により、LOLは高次元オブジェクトの表現力豊かな低次元表現の作成を劇的に簡素化します。

要約(オリジナル)

Sampling from generative models has become a crucial tool for applications like data synthesis and augmentation. Diffusion, Flow Matching and Continuous Normalizing Flows have shown effectiveness across various modalities, and rely on latent variables for generation. For experimental design or creative applications that require more control over the generation process, it has become common to manipulate the latent variable directly. However, existing approaches for performing such manipulations (e.g. interpolation or forming low-dimensional representations) only work well in special cases or are network or data-modality specific. We propose Linear combinations of Latent variables (LOL) as a general-purpose method to form linear combinations of latent variables that adhere to the assumptions of the generative model. As LOL is easy to implement and naturally addresses the broader task of forming any linear combinations, e.g. the construction of subspaces of the latent space, LOL dramatically simplifies the creation of expressive low-dimensional representations of high-dimensional objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google