Machine Psychology: Investigating Emergent Capabilities and Behavior in Large Language Models Using Psychological Methods

要約

大規模言語モデル (LLM) は現在、AI システムを人間のコミュニケーションや日常生活と結びつける最前線にあります。
技術の急速な進歩とその極めて多用途性により、LLM は今日では何百万ものユーザーを抱え、情報検索、コンテンツ生成、問題解決などの主要なテクノロジーになりつつあります。したがって、LLM は非常に重要です。
彼らの能力を徹底的に評価し精査します。
現在の LLM の行動パターンはますます複雑かつ斬新であるため、これは、LLM を、もともと人間をテストするために設計された心理学実験の参加者として扱うことで実現できます。
この目的のために、この論文では「機械心理学」と呼ばれる新しい研究分野が紹介されています。
この論文では、心理学のさまざまな下位分野が LLM の行動テストにどのように情報を提供できるかを概説しています。
特に迅速な設計のためのポリシーに焦点を当てて、機械心理学研究の方法論的標準を定義します。
さらに、LLM で発見された行動パターンをどのように解釈するかについても説明します。
要約すると、機械心理学の目的は、従来の自然言語処理ベンチマークのほとんどでは検出できない LLM の新たな能力を発見することです。

要約(オリジナル)

Large language models (LLMs) are currently at the forefront of intertwining AI systems with human communication and everyday life. Due to rapid technological advances and their extreme versatility, LLMs nowadays have millions of users and are at the cusp of being the main go-to technology for information retrieval, content generation, problem-solving, etc. Therefore, it is of great importance to thoroughly assess and scrutinize their capabilities. Due to increasingly complex and novel behavioral patterns in current LLMs, this can be done by treating them as participants in psychology experiments that were originally designed to test humans. For this purpose, the paper introduces a new field of research called ‘machine psychology’. The paper outlines how different subfields of psychology can inform behavioral tests for LLMs. It defines methodological standards for machine psychology research, especially by focusing on policies for prompt designs. Additionally, it describes how behavioral patterns discovered in LLMs are to be interpreted. In sum, machine psychology aims to discover emergent abilities in LLMs that cannot be detected by most traditional natural language processing benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google