Investigating Generalization Behaviours of Generative Flow Networks

要約

生成フローネットワーク（Gflownets、GFNS）は、離散空間で非正規化確率質量関数を学習するための生成的フレームワークです。
彼らの設立以来、Gflownetsは、トレーニング中に個別のスペースの大部分が訪問されていないアプリケーションで生成モデルを学習するのに役立つことが証明されています。
これは、深いニューラルネットワーク（DNNS）とペアになった場合、Gflownetsが好ましい一般化特性を持っているという仮説を立てることに影響を与えました。
この作業では、Gflownetsの一般化の仮説メカニズムのいくつかを経験的に検証します。
これは、報酬の難易度を簡単に変化させることができる新しいグラフベースのベンチマーク環境を導入することで実現し、$ p（x）$を正確に計算し、目に見えないテストセットを構築して一般化パフォーマンスを定量化できます。
このグラフベースの環境を使用して、Gflownetsの一般化の仮説メカニズムを体系的にテストし、調査結果を要約する一連の経験的観察を出すことができます。
特に、Gflownetsが近似することを学ぶ機能には、一般化を促進する暗黙の根本構造があることがわかります（および確認）。
驚くべきことに、そして既存の知識といくらか矛盾しますが、Gflownetsはオフラインおよびオフポリシーに訓練されることに敏感であることがわかります。
ただし、Gflownetsによって暗黙的に学習された報酬は、トレーニング分布の変化に対して堅牢です。

要約(オリジナル)

Generative Flow Networks (GFlowNets, GFNs) are a generative framework for learning unnormalized probability mass functions over discrete spaces. Since their inception, GFlowNets have proven to be useful for learning generative models in applications where the majority of the discrete space is unvisited during training. This has inspired some to hypothesize that GFlowNets, when paired with deep neural networks (DNNs), have favorable generalization properties. In this work, we empirically verify some of the hypothesized mechanisms of generalization of GFlowNets. We accomplish this by introducing a novel graph-based benchmark environment where reward difficulty can be easily varied, $p(x)$ can be computed exactly, and an unseen test set can be constructed to quantify generalization performance. Using this graph-based environment, we are able to systematically test the hypothesized mechanisms of generalization of GFlowNets and put forth a set of empirical observations that summarize our findings. In particular, we find (and confirm) that the functions that GFlowNets learn to approximate have an implicit underlying structure which facilitate generalization. Surprisingly — and somewhat contradictory to existing knowledge — we also find that GFlowNets are sensitive to being trained offline and off-policy. However, the reward implicitly learned by GFlowNets is robust to changes in the training distribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google