MetaGFN: Exploring Distant Modes with Adapted Metadynamics for Continuous GFlowNets

要約

生成フロー ネットワーク (GFlowNets) は、学習されたポリシーを通じて、指定された報酬関数に比例してオブジェクトをサンプリングする生成モデルのクラスです。
ポリシー上でもポリシー外でもトレーニングできますが、ターゲットのディストリビューションに迅速に収束するには、探索と活用のバランスをとる必要があります。
離散 GFlowNet の探索戦略は研究されていますが、連続ドメインのローカル接続による新しい探索アルゴリズムの可能性にもかかわらず、連続ケースでの探索はまだ研究されていません。
ここでは、連続領域上の任意のブラックボックス報酬関数に適用できるメタダイナミクスの変形である適応メタダイナミクスを紹介します。
私たちは、継続的な GFlowNet の探索戦略として Adapted Metadynamics を使用します。
結果として得られるアルゴリズム MetaGFN がターゲット分布への収束を加速し、GFlowNets で使用されていた以前のオフポリシー探索戦略よりも遠くの報酬モードを発見する 3 つの連続ドメインを示します。

要約(オリジナル)

Generative Flow Networks (GFlowNets) are a class of generative models that sample objects in proportion to a specified reward function through a learned policy. They can be trained either on-policy or off-policy, needing a balance between exploration and exploitation for fast convergence to a target distribution. While exploration strategies for discrete GFlowNets have been studied, exploration in the continuous case remains to be investigated, despite the potential for novel exploration algorithms due to the local connectedness of continuous domains. Here, we introduce Adapted Metadynamics, a variant of metadynamics that can be applied to arbitrary black-box reward functions on continuous domains. We use Adapted Metadynamics as an exploration strategy for continuous GFlowNets. We show three continuous domains where the resulting algorithm, MetaGFN, accelerates convergence to the target distribution and discovers more distant reward modes than previous off-policy exploration strategies used for GFlowNets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google