要約
私たちは、AI モデル、特にディープネットワークの表現が収束しつつあると主張します。
まず、文献にある収束の多くの例を調査します。時間の経過とともに、複数のドメインにわたって、さまざまなニューラル ネットワークがデータを表現する方法がより連携してきています。
次に、データ モダリティ全体の収束を示します。視覚モデルと言語モデルが大きくなるにつれて、データポイント間の距離がますます類似した方法で測定されます。
私たちは、この収束が、プラトンの理想的な現実の概念に似た、現実の共有統計モデルに向かって進んでいると仮説を立てます。
我々はこのような表現をプラトニック表現と呼び、それに対するいくつかの考えられる選択圧力について議論します。
最後に、これらの傾向の影響、その限界、および分析に対する反例について説明します。
要約(オリジナル)
We argue that representations in AI models, particularly deep networks, are converging. First, we survey many examples of convergence in the literature: over time and across multiple domains, the ways by which different neural networks represent data are becoming more aligned. Next, we demonstrate convergence across data modalities: as vision models and language models get larger, they measure distance between datapoints in a more and more alike way. We hypothesize that this convergence is driving toward a shared statistical model of reality, akin to Plato’s concept of an ideal reality. We term such a representation the platonic representation and discuss several possible selective pressures toward it. Finally, we discuss the implications of these trends, their limitations, and counterexamples to our analysis.
arxiv情報
著者 | Minyoung Huh,Brian Cheung,Tongzhou Wang,Phillip Isola |
発行日 | 2024-07-25 09:33:50+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google