Compositional Generative Modeling: A Single Model is Not All You Need

要約

大量のデータに基づいてトレーニングされた大規模なモノリシック生成モデルは、AI 研究においてますます主流のアプローチになっています。
この論文では、代わりに、より小さな生成モデルを組み合わせて大規模な生成システムを構築する必要があると主張します。
このような構成生成アプローチにより、よりデータ効率の高い方法で分布を学習できるようになり、トレーニング時には見えなかったデータ分布の部分への一般化が可能になる方法を示します。
さらに、これにより、トレーニングではまったく見られなかったタスクの新しい生成モデルをプログラムおよび構築できるようになる方法を示します。
最後に、多くの場合、データから個別の構成要素を発見できることを示します。

要約(オリジナル)

Large monolithic generative models trained on massive amounts of data have become an increasingly dominant approach in AI research. In this paper, we argue that we should instead construct large generative systems by composing smaller generative models together. We show how such a compositional generative approach enables us to learn distributions in a more data-efficient manner, enabling generalization to parts of the data distribution unseen at training time. We further show how this enables us to program and construct new generative models for tasks completely unseen at training. Finally, we show that in many cases, we can discover separate compositional components from data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google