GFlowNets and variational inference

要約

この論文では、確率的アルゴリズムの 2 つのファミリ間のブリッジを構築します。(階層型) 変分推論 (VI) は通常、連続空間上の分布をモデル化するために使用され、生成フロー ネットワーク (GFlowNets) は、次のような離散構造上の分布に使用されています。
グラフ。
特定のケースでは、VI アルゴリズムは、学習目標の予想勾配が等しいという意味で、GFlowNet の特殊なケースと同等であることを示します。
次に、2 つのファミリーの違いを指摘し、これらの違いが実験的にどのように現れるかを示します。
特に、強化学習からアイデアを借りる GFlowNets は、重要度サンプリングによって引き起こされる高い勾配分散のコストなしで、VI よりもオフポリシー トレーニングに適しています。
GFlowNets のこの特性は、マルチモーダル ターゲット分布の多様性を捉えるための利点を提供できると主張します。

要約(オリジナル)

This paper builds bridges between two families of probabilistic algorithms: (hierarchical) variational inference (VI), which is typically used to model distributions over continuous spaces, and generative flow networks (GFlowNets), which have been used for distributions over discrete structures such as graphs. We demonstrate that, in certain cases, VI algorithms are equivalent to special cases of GFlowNets in the sense of equality of expected gradients of their learning objectives. We then point out the differences between the two families and show how these differences emerge experimentally. Notably, GFlowNets, which borrow ideas from reinforcement learning, are more amenable than VI to off-policy training without the cost of high gradient variance induced by importance sampling. We argue that this property of GFlowNets can provide advantages for capturing diversity in multimodal target distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google