Graph Diffusion Policy Optimization

要約

最近の研究では、特定の下流目的に向けた拡散モデルの最適化において大きな進歩があり、これは医薬品設計のためのグラフ生成などの分野で重要な追求となっています。
ただし、これらのモデルをグラフ拡散に直接適用すると課題が生じ、最適なパフォーマンスが得られません。
この論文では、強化学習を使用して任意の (微分不可能な) 目的に合わせてグラフ拡散モデルを最適化する新しいアプローチであるグラフ拡散ポリシー最適化 (GDPO) を紹介します。
GDPO は、グラフ拡散モデルに合わせて調整された熱心なポリシー勾配に基づいており、綿密な分析とパフォーマンスの向上を約束することによって開発されました。
実験結果は、GDPO が複雑で多様な目的を持つさまざまなグラフ生成タスクにおいて最先端のパフォーマンスを達成することを示しています。
コードは https://github.com/sail-sg/GDPO で入手できます。

要約(オリジナル)

Recent research has made significant progress in optimizing diffusion models for specific downstream objectives, which is an important pursuit in fields such as graph generation for drug design. However, directly applying these models to graph diffusion presents challenges, resulting in suboptimal performance. This paper introduces graph diffusion policy optimization (GDPO), a novel approach to optimize graph diffusion models for arbitrary (e.g., non-differentiable) objectives using reinforcement learning. GDPO is based on an eager policy gradient tailored for graph diffusion models, developed through meticulous analysis and promising improved performance. Experimental results show that GDPO achieves state-of-the-art performance in various graph generation tasks with complex and diverse objectives. Code is available at https://github.com/sail-sg/GDPO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google