ConceptPsy:A Benchmark Suite with Conceptual Comprehensiveness in Psychology

要約

心理学の重要な分野では、ドメイン固有の大規模言語モデル (LLM) の評価と開発を強化するための包括的なベンチマークが必要です。
C-EVAL や CMMLU などの既存の MMLU タイプのベンチマークには心理学関連の主題が含まれていますが、質問数が限られており、体系的な概念サンプリング戦略が欠如しているため、心理学で必要な概念をカバーできません。
その結果、これらのベンチマークは幅広い対象をカバーしているにもかかわらず、心理学の領域で必要な深さが欠けており、心理学に特化した評価スイートとしては不十分です。
この問題に対処するために、この論文では、心理学における中国人の複雑な推論と知識能力を評価するように設計された ConceptPsy を紹介します。
ConceptPsy には、12 の中核主題と手動で収集された 1383 の概念が含まれています。
具体的には、GPT-4 に、慎重に設計された多様なプロンプトを使用して概念ごとに質問を生成し、これらの質問をレビューするために専門の心理学者を雇います。
きめ細かいパフォーマンスを理解し、弱点を強化できるように、各質問に章ラベルで注釈を付け、章ごとの正確性を提供します。
ConceptPsy に基づいて、幅広い LLM を評価します。
一部の LLM は全体的なパフォーマンスに関して同様の精度を達成していますが、同じシリーズのモデルであっても、心理学の概念が異なるとパフォーマンスに大きなばらつきがあることがわかりました。
私たちの研究が心理学の分野における LLM の開発を促進することを願っています。

要約(オリジナル)

The critical field of psychology necessitates a comprehensive benchmark to enhance the evaluation and development of domain-specific Large Language Models (LLMs). Existing MMLU-type benchmarks, such as C-EVAL and CMMLU, include psychology-related subjects, but their limited number of questions and lack of systematic concept sampling strategies mean they cannot cover the concepts required in psychology. Consequently, despite their broad subject coverage, these benchmarks lack the necessary depth in the psychology domain, making them inadequate as psychology-specific evaluation suite. To address this issue, this paper presents ConceptPsy, designed to evaluate Chinese complex reasoning and knowledge abilities in psychology. ConceptPsy includes 12 core subjects and 1383 manually collected concepts. Specifically, we prompt GPT-4 to generate questions for each concept using carefully designed diverse prompts and hire professional psychologists to review these questions. To help to understand the fine-grained performances and enhance the weaknesses, we annotate each question with a chapter label and provide chapter-wise accuracy. Based on ConceptPsy, we evaluate a broad range of LLMs. We observe that, although some LLMs achieve similar accuracies on overall performances, they exhibit significant performance variations across different psychology concepts, even when they are models from the same series. We hope our work can facilitate the development of LLMs in the field of psychology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google