Machine Psychology

要約

大規模言語モデル (LLM) は、ますます高度な創発機能を示し、さまざまな社会領域に組み込まれています。
したがって、彼らの行動と推論能力を理解することは非常に重要です。
私たちは、研究にとって有益な方向性は、伝統的に人間の認知と行動を理解することを目的としてきた心理学にヒントを得た行動実験にLLMを参加させることだと主張します。
この記事では、このアプローチによってもたらされる理論的観点、実験パラダイム、および計算分析手法に焦点を当てて要約します。
これは、パフォーマンスのベンチマークを超え、LLM の新たな能力と行動パターンのより良い理解と発見に向けて私たちを動かす計算上の洞察に焦点を当てた、生成型人工知能 (AI) の「機械心理学」への道を開きます。
私たちはこのアプローチを採用した既存の研究をレビューし、ベストプラクティスを統合し、有望な将来の方向性を強調します。
また、人間を理解するために設計された方法論を機械に適用する際の重要な注意点も強調します。
モデルがより強力で、不透明で、マルチモーダルに進化し、複雑な現実世界の設定に統合されるにつれて、実験心理学のツールを活用して AI を研究することの価値はますます高まると私たちは考えています。

要約(オリジナル)

Large language models (LLMs) show increasingly advanced emergent capabilities and are being incorporated across various societal domains. Understanding their behavior and reasoning abilities therefore holds significant importance. We argue that a fruitful direction for research is engaging LLMs in behavioral experiments inspired by psychology that have traditionally been aimed at understanding human cognition and behavior. In this article, we highlight and summarize theoretical perspectives, experimental paradigms, and computational analysis techniques that this approach brings to the table. It paves the way for a ‘machine psychology’ for generative artificial intelligence (AI) that goes beyond performance benchmarks and focuses instead on computational insights that move us toward a better understanding and discovery of emergent abilities and behavioral patterns in LLMs. We review existing work taking this approach, synthesize best practices, and highlight promising future directions. We also highlight the important caveats of applying methodologies designed for understanding humans to machines. We posit that leveraging tools from experimental psychology to study AI will become increasingly valuable as models evolve to be more powerful, opaque, multi-modal, and integrated into complex real-world settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google