Towards Hierarchical Rectified Flow

要約

データ分布をモデル化する階層的整流フローを策定します。
階層的には、複数の通常の微分方程式（ODE）を結びつけ、既知のソース分布からデータ分布を生成する時間差性確率プロセスを定義します。
各オードは、古典的な整流フローで解決されるが、そのドメイン、つまり位置、速度、加速度などが異なるオードに似ています。ロケーションドメインの単一オードを定式化し、キャプチャする単一のオードを作成し、キャプチャする古典的な修正フロー定式化とは異なります。
予想される速度フィールド（マルチモーダルデータ分布をキャプチャするのに十分）、階層的整流フロー定式化モデルマルチモーダルランダム速度をモデル化する
フィールド、加速フィールドなど、全体。
ランダム速度フィールドのこのより忠実なモデリングにより、データ生成中に基礎となるODEが解決されると、統合パスが交差することができます。
交差するパスは、統合パスが交差できない古典的な修正フロー定式化で得られたものよりもまっすぐな統合軌跡につながります。
これは、神経関数の評価が少ないデータ分布のモデリングにつながります。
これを合成1Dおよび2Dデータ、およびMNIST、CIFAR-10、およびImagENET-32データで経験的に検証します。
コードは、https：//riccizz.github.io/hrf/で入手できます。

要約(オリジナル)

We formulate a hierarchical rectified flow to model data distributions. It hierarchically couples multiple ordinary differential equations (ODEs) and defines a time-differentiable stochastic process that generates a data distribution from a known source distribution. Each ODE resembles the ODE that is solved in a classic rectified flow, but differs in its domain, i.e., location, velocity, acceleration, etc. Unlike the classic rectified flow formulation, which formulates a single ODE in the location domain and only captures the expected velocity field (sufficient to capture a multi-modal data distribution), the hierarchical rectified flow formulation models the multi-modal random velocity field, acceleration field, etc., in their entirety. This more faithful modeling of the random velocity field enables integration paths to intersect when the underlying ODE is solved during data generation. Intersecting paths in turn lead to integration trajectories that are more straight than those obtained in the classic rectified flow formulation, where integration paths cannot intersect. This leads to modeling of data distributions with fewer neural function evaluations. We empirically verify this on synthetic 1D and 2D data as well as MNIST, CIFAR-10, and ImageNet-32 data. Code is available at: https://riccizz.github.io/HRF/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google