The Platonic Representation Hypothesis

要約

私たちは、AI モデル、特にディープネットワークの表現が収束しつつあると主張します。
まず、文献にある収束の多くの例を調査します。時間の経過とともに、複数のドメインにわたって、さまざまなニューラル ネットワークがデータを表現する方法がより連携してきています。
次に、データ モダリティ全体の収束を示します。視覚モデルと言語モデルが大きくなるにつれて、データポイント間の距離がますます類似した方法で測定されます。
私たちは、この収束が、プラトンの理想的な現実の概念に似た、現実の共有統計モデルに向かって進んでいると仮説を立てます。
我々はこのような表現をプラトニック表現と呼び、それに対するいくつかの考えられる選択圧力について議論します。
最後に、これらの傾向の影響、その限界、および分析に対する反例について説明します。

要約(オリジナル)

We argue that representations in AI models, particularly deep networks, are converging. First, we survey many examples of convergence in the literature: over time and across multiple domains, the ways by which different neural networks represent data are becoming more aligned. Next, we demonstrate convergence across data modalities: as vision models and language models get larger, they measure distance between datapoints in a more and more alike way. We hypothesize that this convergence is driving toward a shared statistical model of reality, akin to Plato’s concept of an ideal reality. We term such a representation the platonic representation and discuss several possible selective pressures toward it. Finally, we discuss the implications of these trends, their limitations, and counterexamples to our analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google