Transcendence: Generative Models Can Outperform The Experts That Train Them

要約

生成モデルは、トレーニング対象のデータによって引き起こされる条件付き確率分布を模倣するという単純な目的でトレーニングされます。
したがって、人間が生成したデータに基づいてトレーニングされた場合、人工モデルが本来の目的において人間を上回るパフォーマンスを発揮するとは期待できないかもしれません。
この研究では、生成モデルがデータを生成する専門家の能力を超える能力を達成するときの超越現象を研究します。
ゲームのトランスクリプトからチェスをプレイするように自己回帰トランスフォーマーをトレーニングすることで超越性を実証し、トレーニングされたモデルがデータセット内のすべてのプレイヤーよりも優れたパフォーマンスを達成できる場合があることを示します。
私たちは、超越性が低温サンプリングによって可能になることを理論的に証明し、これを実験的に厳密に評価します。
最後に、超越性の他の原因について議論し、より広範な環境でこの現象を将来調査するための基礎を築きます。

要約(オリジナル)

Generative models are trained with the simple objective of imitating the conditional probability distribution induced by the data they are trained on. Therefore, when trained on data generated by humans, we may not expect the artificial model to outperform the humans on their original objectives. In this work, we study the phenomenon of transcendence: when a generative model achieves capabilities that surpass the abilities of the experts generating its data. We demonstrate transcendence by training an autoregressive transformer to play chess from game transcripts, and show that the trained model can sometimes achieve better performance than all players in the dataset. We theoretically prove that transcendence is enabled by low-temperature sampling, and rigorously assess this experimentally. Finally, we discuss other sources of transcendence, laying the groundwork for future investigation of this phenomenon in a broader setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google