SoPo: Text-to-Motion Generation Using Semi-Online Preference Optimization

要約

テキストからモーションへの生成は、クリエイティブ産業の発展に不可欠ですが、一貫したリアルなモーションを作成するには課題が発生することがよくあります。
これに対処するために、私たちはテキストからモーションへのモデルを微調整して、高品質で人間が好むモーションを一貫して優先することに焦点を当てています。これは重要でありながらほとんど調査されていない問題です。
この研究では、オンラインとオフラインの両方の設定で DPO を理論的に調査し、オフライン DPO のオーバーフィッティングとオンライン DPO の偏ったサンプリングというそれぞれの制限を明らかにします。
理論的な洞察に基づいて、セミオンライン優先最適化 (SoPo) を紹介します。これは、「セミオンライン」データ ペアを使用してテキストからモーションへのモデルをトレーニングするための DPO ベースの方法で、オンライン配信からの優先されないモーションと、オンライン配信からの優先モーションで構成されます。
オフライン データセット。
この方法では、オンラインとオフラインの両方の DPO を活用し、それぞれが互いの制限を補うことができます。
広範な実験により、SoPo が他のプリファレンス調整方法よりも優れていることが実証されており、MM-Dist は MLD モデルで 3.25% (対たとえば MoDiPO の 0.76%)、MDM モデルで 2.91% (対たとえば MoDiPO の 0.66%) でした。
さらに、SoPo によって微調整された MLD モデルは、R 精度と MM Dist の点で SoTA モデルを上回っています。
視覚化の結果は、好みの調整における SoPo の有効性も示しています。
私たちのプロジェクトページは https://sopo-motion.github.io です。

要約(オリジナル)

Text-to-motion generation is essential for advancing the creative industry but often presents challenges in producing consistent, realistic motions. To address this, we focus on fine-tuning text-to-motion models to consistently favor high-quality, human-preferred motions, a critical yet largely unexplored problem. In this work, we theoretically investigate the DPO under both online and offline settings, and reveal their respective limitation: overfitting in offline DPO, and biased sampling in online DPO. Building on our theoretical insights, we introduce Semi-online Preference Optimization (SoPo), a DPO-based method for training text-to-motion models using ‘semi-online’ data pair, consisting of unpreferred motion from online distribution and preferred motion in offline datasets. This method leverages both online and offline DPO, allowing each to compensate for the other’s limitations. Extensive experiments demonstrate that SoPo outperforms other preference alignment methods, with an MM-Dist of 3.25% (vs e.g. 0.76% of MoDiPO) on the MLD model, 2.91% (vs e.g. 0.66% of MoDiPO) on MDM model, respectively. Additionally, the MLD model fine-tuned by our SoPo surpasses the SoTA model in terms of R-precision and MM Dist. Visualization results also show the efficacy of our SoPo in preference alignment. Our project page is https://sopo-motion.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google