Generative Unordered Flow for Set-Structured Data Generation

要約

フローベースの生成モデルは、幅広いデータモダリティ（画像やテキストなど）にわたって有望なパフォーマンスを実証しています。
ただし、以前のモデルは主に自然に順序付けられたベクトルデータ用に設計されているため、順序付けられていないデータ（空間点セットなど）への拡張機能を調査する作品はほとんどありません。
このホワイトペーパーでは、セット構造データ生成のためのフローベースの生成モデルの一種である順序フローを紹介します。
具体的には、順序付けされていないデータを適切な関数表現に変換し、関数値のフローマッチングを介してそのような表現の確率測定値を学習します。
関数表現から順序付けられていないデータまでの逆マップについては、粒子フィルタリングに似た方法を提案します。ランゲビンダイナミクスを使用して、最初の粒子を最初にウォームアップし、勾配ベースの検索を使用して収束するまで更新します。
複数の実際のデータセットで広範な実験を実施しました。これは、順序付けられていないフローモデルがセット構造データの生成に非常に効果的であり、以前のベースラインを大幅に上回ることを示しています。

要約(オリジナル)

Flow-based generative models have demonstrated promising performance across a broad spectrum of data modalities (e.g., image and text). However, there are few works exploring their extension to unordered data (e.g., spatial point set), which is not trivial because previous models are mostly designed for vector data that are naturally ordered. In this paper, we present unordered flow, a type of flow-based generative model for set-structured data generation. Specifically, we convert unordered data into an appropriate function representation, and learn the probability measure of such representations through function-valued flow matching. For the inverse map from a function representation to unordered data, we propose a method similar to particle filtering, with Langevin dynamics to first warm-up the initial particles and gradient-based search to update them until convergence. We have conducted extensive experiments on multiple real-world datasets, showing that our unordered flow model is very effective in generating set-structured data and significantly outperforms previous baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google