Compositional Generative Modeling: A Single Model is Not All You Need

要約

膨大なデータに対して学習される大規模なモノリシック生成モデルは、AI研究においてますます支配的なアプローチとなってきている。本論文では、その代わりに、より小さな生成モデルを組み合わせて大規模な生成システムを構築すべきだと主張する。このような構成的生成的アプローチにより、よりデータ効率の良い方法で分布を学習し、学習時には見られなかったデータ分布の一部への汎化を可能にする方法を示す。さらに、この手法により、学習時には全く見られなかったタスクに対して、新しい生成モデルをプログラムし、構築することが可能になることを示す。最後に、多くの場合、データから別々の構成要素を発見できることを示す。

要約(オリジナル)

Large monolithic generative models trained on massive amounts of data have become an increasingly dominant approach in AI research. In this paper, we argue that we should instead construct large generative systems by composing smaller generative models together. We show how such a compositional generative approach enables us to learn distributions in a more data-efficient manner, enabling generalization to parts of the data distribution unseen at training time. We further show how this enables us to program and construct new generative models for tasks completely unseen at training. Finally, we show that in many cases, we can discover separate compositional components from data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL