The Imitation Game According To Turing

要約

人工知能の人間社会への利益とリスクに関する誇大広告と不安の現在のサイクルは、一般大衆による生成AIおよびその他のAIツールの使用の増加だけでなく、そのような技術に代わって行われた主張によっても促進されます。
人気者と科学者。
特に、最近の研究では、大規模な言語モデル（LLM）がチューリングテストを渡すことができると主張しています。1950年代以降、AIの目標であり、したがって「考える」ことができます。
結果として、社会への大規模な影響が予測されています。
しかし、詳細な調査では、これらの研究のどれも、チューリングの元の指示を忠実に適用していません。
その結果、3プレイヤーの模倣ゲームのためのチューリングの指示に密接に接着したGPT-4ターボで厳密なチューリングテストを実施しました。
私たちは、チューリングの指示が曖昧または欠落している確立された科学的基準に従いました。
たとえば、時間を制約することなくコンピューター想像の人間ゲーム（CIHG）を実行し、ベンチマークとしてマンイミテートウーマンゲーム（MIWG）を実施しました。
1人を除くすべての参加者がLLMを正しく特定し、今日の最も高度なLLMの1つが厳格なチューリングテストに合格できないことを示しています。
このようなモデルに対する最近の贅沢な主張はサポートされていないと結論付けており、思考機械の社会的影響について楽観的または懸念を保証しないと結論付けています。

要約(オリジナル)

The current cycle of hype and anxiety concerning the benefits and risks to human society of Artificial Intelligence is fuelled, not only by the increasing use of generative AI and other AI tools by the general public, but also by claims made on behalf of such technology by popularizers and scientists. In particular, recent studies have claimed that Large Language Models (LLMs) can pass the Turing Test-a goal for AI since the 1950s-and therefore can ‘think’. Large-scale impacts on society have been predicted as a result. Upon detailed examination, however, none of these studies has faithfully applied Turing’s original instructions. Consequently, we conducted a rigorous Turing Test with GPT-4-Turbo that adhered closely to Turing’s instructions for a three-player imitation game. We followed established scientific standards where Turing’s instructions were ambiguous or missing. For example, we performed a Computer-Imitates-Human Game (CIHG) without constraining the time duration and conducted a Man-Imitates-Woman Game (MIWG) as a benchmark. All but one participant correctly identified the LLM, showing that one of today’s most advanced LLMs is unable to pass a rigorous Turing Test. We conclude that recent extravagant claims for such models are unsupported, and do not warrant either optimism or concern about the social impact of thinking machines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google