Machine Psychology: Investigating Emergent Capabilities and Behavior in Large Language Models Using Psychological Methods

要約

タイトル：機械心理学：心理学的方法を用いた大規模言語モデルの新たな能力と行動の調査

要約：
– 大規模言語モデル（LLM）は現在、人間とのコミュニケーションや日常生活においてAIシステムが絡む最前線にあります。
– 技術革新の急速な進歩と、その非常に高い多様性により、LLMには現在何百万人ものユーザーがおり、情報検索、コンテンツ生成、問題解決などの主要な技術となる運びです。
– このため、彼らの能力を十分に評価し厳密に検討することが非常に重要です。
– 現在のLLMにおける複雑で新しい行動パターンの増加により、LLMを人間と同様の心理学的実験の参加者として扱い、実験を行うことができます。
– このため、本論文では「機械心理学」という新しい研究領域を紹介しています。
– 論文は、心理学のさまざまな分野がLLMの行動テストにどのように役立つかを概説し、特に迅速な設計の方針に焦点を当てて機械心理学研究の方法論的基準を定義しています。
– さらに、LLMで発見された行動パターンの解釈方法について説明しています。
– 概して、機械心理学は、多くの伝統的な自然言語処理のベンチマークでは検出できない、LLMにおける新しい能力を発見することを目的としています。

要約(オリジナル)

Large language models (LLMs) are currently at the forefront of intertwining AI systems with human communication and everyday life. Due to rapid technological advances and their extreme versatility, LLMs nowadays have millions of users and are at the cusp of being the main go-to technology for information retrieval, content generation, problem-solving, etc. Therefore, it is of great importance to thoroughly assess and scrutinize their capabilities. Due to increasingly complex and novel behavioral patterns in current LLMs, this can be done by treating them as participants in psychology experiments that were originally designed to test humans. For this purpose, the paper introduces a new field of research called ‘machine psychology’. The paper outlines how different subfields of psychology can inform behavioral tests for LLMs. It defines methodological standards for machine psychology research, especially by focusing on policies for prompt designs. Additionally, it describes how behavioral patterns discovered in LLMs are to be interpreted. In sum, machine psychology aims to discover emergent abilities in LLMs that cannot be detected by most traditional natural language processing benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI