Multidimensional Interpolants

要約

微分方程式ベースの生成モデリングの分野では、従来のアプローチでは、トレーニング段階と推論段階の両方で補間係数として 1 次元のスカラー値に依存することがよくありました。
この研究では、確率的補間フレームワークを利用して、これらの係数を多次元に拡張する多次元補間を初めて導入します。
さらに、事前に決定された微分方程式ソルバーと固定数の関数評価を使用して、多次元推論軌道を適応的に決定するように調整された新しいパス最適化問題を提案します。
私たちのソリューションには、推論パスを最適化するための敵対的トレーニングと組み合わせたシミュレーション ダイナミクスが含まれます。
特に、トレーニング中に多次元内挿を採用すると、パスの最適化がない場合でも、モデルの推論パフォーマンスが向上します。
最適化プロセスから導出された適応的な多次元パスを使用すると、ソルバー構成が固定されている場合でも、さらなるパフォーマンスの向上が得られます。
多次元補間の導入は、モデルの有効性を高めるだけでなく、トレーニングおよび推論方法論の探索のための新しい領域を開き、未開発のフロンティアとしての多次元パスの可能性を強調します。

要約(オリジナル)

In the domain of differential equation-based generative modeling, conventional approaches often rely on single-dimensional scalar values as interpolation coefficients during both training and inference phases. In this work, we introduce, for the first time, a multidimensional interpolant that extends these coefficients into multiple dimensions, leveraging the stochastic interpolant framework. Additionally, we propose a novel path optimization problem tailored to adaptively determine multidimensional inference trajectories, with a predetermined differential equation solver and a fixed number of function evaluations. Our solution involves simulation dynamics coupled with adversarial training to optimize the inference path. Notably, employing a multidimensional interpolant during training improves the model’s inference performance, even in the absence of path optimization. When the adaptive, multidimensional path derived from our optimization process is employed, it yields further performance gains, even with fixed solver configurations. The introduction of multidimensional interpolants not only enhances the efficacy of models but also opens up a new domain for exploration in training and inference methodologies, emphasizing the potential of multidimensional paths as an untapped frontier.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google