Revisiting Non-Acyclic GFlowNets in Discrete Environments

要約

生成フローネットワーク（Gflownets）は、特定の確率分布からオブジェクトをサンプリングすることを学ぶ生成モデルのファミリーであり、潜在的に正規化定数まで知られています。
オブジェクトスペースで作業する代わりに、Gflownetsは、グラフの環状性に大きく依存して、適切に構築された指示された非環式グラフ環境で軌跡をサンプリングすることで進みます。
私たちの論文では、非環式の仮定を緩和し、離散環境で非活性的なGflownetsのより単純な理論的枠組みを提示する理論を再訪します。
さらに、固定された後方ポリシー、流れ機能の性質、およびエントロピー正規化RLと非活性gflownetsの間のつながりを伴うトレーニングに関連するさまざまな新しい理論的洞察を提供します。
さらに、非活性Gflownetトレーニングにおける損失の安定性の概念を実験的に再検討し、独自の理論的調査結果を検証します。

要約(オリジナル)

Generative Flow Networks (GFlowNets) are a family of generative models that learn to sample objects from a given probability distribution, potentially known up to a normalizing constant. Instead of working in the object space, GFlowNets proceed by sampling trajectories in an appropriately constructed directed acyclic graph environment, greatly relying on the acyclicity of the graph. In our paper, we revisit the theory that relaxes the acyclicity assumption and present a simpler theoretical framework for non-acyclic GFlowNets in discrete environments. Moreover, we provide various novel theoretical insights related to training with fixed backward policies, the nature of flow functions, and connections between entropy-regularized RL and non-acyclic GFlowNets, which naturally generalize the respective concepts and theoretical results from the acyclic setting. In addition, we experimentally re-examine the concept of loss stability in non-acyclic GFlowNet training, as well as validate our own theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google