Generating Symbolic Reasoning Problems with Transformer GANs

要約

タイトル：Transformer GANを用いたシンボリック推論問題の生成

要約：
– Transformerエンコーダを備えたGANおよびWasserstein GANの能力について検討する。
– シンボリック数学および検証においてTransformerが最近成功した2つの問題領域で実験を行う。
– 自己回帰がなくても、GANモデルは文法的に正しいインスタンスを生成することができる。
– GAN設定を使用することで、ターゲット分布を変更することができる。
– 分類器をトレーニングするための代替実データとして生成されたデータを使用できることを示す。
– 特に、トレーニングデータが直接トレーニングできないほど小さいデータセットからトレーニングデータを生成できることを示す。
– ジェネレータ目標に分類器の不確実性部分を追加することで、より難しいデータセットを生成することができることを示す。

要約(オリジナル)

We study the capabilities of GANs and Wasserstein GANs equipped with Transformer encoders to generate sensible and challenging training data for symbolic reasoning domains. We conduct experiments on two problem domains where Transformers have been successfully applied recently: symbolic mathematics and temporal specifications in verification. Even without autoregression, our GAN models produce syntactically correct instances. We show that the generated data can be used as a substitute for real training data when training a classifier, and, especially, that training data can be generated from a dataset that is too small to be trained on directly. Using a GAN setting also allows us to alter the target distribution: We show that by adding a classifier uncertainty part to the generator objective, we obtain a dataset that is even harder to solve for a temporal logic classifier than our original dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI