RealBehavior: A Framework for Faithfully Characterizing Foundation Models’ Human-like Behavior Mechanisms

要約

基礎モデルにおける人間に似た行動の報告は増えており、心理理論はこれらの行動を調査するための永続的なツールを提供します。
しかし、現在の研究では、結果の忠実性を検証することなく、これらの人間向けのツールを直接適用する傾向があります。
この論文では、モデルの人型の動作を忠実に特徴付けるように設計されたフレームワーク RealBehavior を紹介します。
私たちのフレームワークは、単に行動を測定するだけでなく、再現性、内部および外部の一貫性、一般化可能性に基づいて結果の忠実性を評価します。
私たちの調査結果は、心理学的ツールを単純に適用するだけでは、すべての人間のような行動を忠実に特徴付けることはできないことを示唆しています。
さらに、モデルを人間的および社会的価値観と調整することの影響について議論し、制限された特性を持つモデルの作成を防ぐために調整の目的を多様化する必要性を主張します。

要約(オリジナル)

Reports of human-like behaviors in foundation models are growing, with psychological theories providing enduring tools to investigate these behaviors. However, current research tends to directly apply these human-oriented tools without verifying the faithfulness of their outcomes. In this paper, we introduce a framework, RealBehavior, which is designed to characterize the humanoid behaviors of models faithfully. Beyond simply measuring behaviors, our framework assesses the faithfulness of results based on reproducibility, internal and external consistency, and generalizability. Our findings suggest that a simple application of psychological tools cannot faithfully characterize all human-like behaviors. Moreover, we discuss the impacts of aligning models with human and social values, arguing for the necessity of diversifying alignment objectives to prevent the creation of models with restricted characteristics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google