Position: Stop Making Unscientific AGI Performance Claims

要約

人工知能 (AI)、特に大規模言語モデル (LLM) の分野の発展は、汎用人工知能 (AGI) の偽の「火花」を観察するための「完璧な嵐」を引き起こしました。
より単純なモデルと同様に、LLM は、外部変数と相関することが示されている潜在的な埋め込み内の意味のある表現を抽出します。
それにもかかわらず、そのような表現の相関関係は、後者では人間のような知性と関連付けられることがよくありますが、前者では関連付けられません。
私たちは、ランダム投影、行列分解、ディープオートエンコーダー、トランスフォーマーなど、さまざまな複雑さのモデルを調査します。それらはすべて、潜在変数または外部変数の予測に使用できる情報をうまく抽出できますが、これまで AGI に関連付けられたものはありませんでした。
私たちは、モデルの潜在空間での意味のあるパターンの発見は、AGI を支持する証拠とは見なされないことを主張し、経験的に証明します。
さらに、人間がそのようなパターンを求めて擬人化する傾向があることを示す社会科学の文献をレビューします。
私たちは、AI の方法論的設定と一般的なパブリック イメージの両方が、モデル表現と対象となる一部の変数の間の相関関係が、根底にある「グラウンド トゥルース」関係をモデルが理解することによって「引き起こされる」という誤解に対して理想的であると結論付けています。
したがって、私たちは学術コミュニティに対し、AI 研究成果を解釈し伝達する際に、特別な注意を払い、学術的誠実の原則を強く意識するよう求めます。

要約(オリジナル)

Developments in the field of Artificial Intelligence (AI), and particularly large language models (LLMs), have created a ‘perfect storm’ for observing ‘sparks’ of Artificial General Intelligence (AGI) that are spurious. Like simpler models, LLMs distill meaningful representations in their latent embeddings that have been shown to correlate with external variables. Nonetheless, the correlation of such representations has often been linked to human-like intelligence in the latter but not the former. We probe models of varying complexity including random projections, matrix decompositions, deep autoencoders and transformers: all of them successfully distill information that can be used to predict latent or external variables and yet none of them have previously been linked to AGI. We argue and empirically demonstrate that the finding of meaningful patterns in latent spaces of models cannot be seen as evidence in favor of AGI. Additionally, we review literature from the social sciences that shows that humans are prone to seek such patterns and anthropomorphize. We conclude that both the methodological setup and common public image of AI are ideal for the misinterpretation that correlations between model representations and some variables of interest are ‘caused’ by the model’s understanding of underlying ‘ground truth’ relationships. We, therefore, call for the academic community to exercise extra caution, and to be keenly aware of principles of academic integrity, in interpreting and communicating about AI research outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google