RewardSDS: Aligning Score Distillation via Reward-Weighted Sampling

要約

スコア蒸留サンプリング（SDS）は、テキストから3Dの世代などのタスクに2D拡散前のプレアを活用するための効果的な手法として浮上しています。
強力ですが、SDSはユーザーの意図に微調整されたアライメントを達成することに苦労しています。
これを克服するために、報酬モデルからのアライメントスコアに基づいてノイズサンプルを重み付けし、加重SDS損失を生成する新しいアプローチであるRewardsdsを導入します。
この損失は、高報酬の出力を整列させるノイズサンプルからの勾配を優先します。
私たちのアプローチは広く適用可能であり、SDSベースの方法を拡張できます。
特に、rewardVSDを導入することにより、変分スコア蒸留（VSD）への適用性を示します。
テキストからイメージ、2D編集、およびテキストから3Dの世代タスクに関する報酬とrewardVSDを評価します。SDSおよびVSDの大幅な改善は、生成品質と希望の報酬モデルを測定する多様なメトリックのセットを示し、最先端のパフォーマンスを可能にします。
プロジェクトページはhttps：// itaychachyで入手できます。
github.io/reward-sds/。

要約(オリジナル)

Score Distillation Sampling (SDS) has emerged as an effective technique for leveraging 2D diffusion priors for tasks such as text-to-3D generation. While powerful, SDS struggles with achieving fine-grained alignment to user intent. To overcome this, we introduce RewardSDS, a novel approach that weights noise samples based on alignment scores from a reward model, producing a weighted SDS loss. This loss prioritizes gradients from noise samples that yield aligned high-reward output. Our approach is broadly applicable and can extend SDS-based methods. In particular, we demonstrate its applicability to Variational Score Distillation (VSD) by introducing RewardVSD. We evaluate RewardSDS and RewardVSD on text-to-image, 2D editing, and text-to-3D generation tasks, showing significant improvements over SDS and VSD on a diverse set of metrics measuring generation quality and alignment to desired reward models, enabling state-of-the-art performance. Project page is available at https://itaychachy. github.io/reward-sds/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google