PsychAdapter: Adapting LLM Transformers to Reflect Traits, Personality and Mental Health

要約

人工知能ベースの言語ジェネレーターは現在、ほとんどの人々の生活の一部となっています。
ただし、デフォルトでは、人々の違いを反映せずに「平均的な」言語を生成する傾向があります。
ここでは、標準言語モデル変換アーキテクチャ「PsychAdapter」に対する軽量の修正を提案します。これは、経験的に導出された特性言語パターンを使用して、指定された性格、人口統計、および精神的健康特性（プロンプトの有無にかかわらず）に応じた自然言語を生成します。
PsychAdapters を適用して OpenAI の GPT-2、Google の Gemma、および Meta の Llama 3 を変更したところ、望ましい特性を反映する生成されたテキストが見つかりました。
たとえば、専門評価者は PsychAdapter が生成したテキスト出力を評価し、ビッグ 5 の性格については平均 87.3%、うつ病と生活満足度については 96.7% の平均精度で、意図した特性レベルと一致していることがわかりました。
PsychAdapter は、すべてのトランスフォーマー層に影響を与えることにより、プロンプトとは独立して、基礎レベルで心理的行動パターンを言語モデルに導入する新しい方法です。
このアプローチでは、LLM コンテキスト ウィンドウを使用せずに、特定の性格プロファイルを備えたチャットボット、心理的条件に関連する言語を反映する臨床トレーニング ツール、著者の読書レベルや教育レベルに一致する機械翻訳を作成できます。
PsychAdapter では、自然言語表現を通じて心理学的構造を探索することもでき、自然言語処理ツールキットを人間の心理学を研究するために拡張します。

要約(オリジナル)

Artificial intelligence-based language generators are now a part of most people’s lives. However, by default, they tend to generate ‘average’ language without reflecting the ways in which people differ. Here, we propose a lightweight modification to the standard language model transformer architecture – ‘PsychAdapter’ – that uses empirically derived trait-language patterns to generate natural language for specified personality, demographic, and mental health characteristics (with or without prompting). We applied PsychAdapters to modify OpenAI’s GPT-2, Google’s Gemma, and Meta’s Llama 3 and found generated text to reflect the desired traits. For example, expert raters evaluated PsychAdapter’s generated text output and found it matched intended trait levels with 87.3% average accuracy for Big Five personalities, and 96.7% for depression and life satisfaction. PsychAdapter is a novel method to introduce psychological behavior patterns into language models at the foundation level, independent of prompting, by influencing every transformer layer. This approach can create chatbots with specific personality profiles, clinical training tools that mirror language associated with psychological conditionals, and machine translations that match an authors reading or education level without taking up LLM context windows. PsychAdapter also allows for the exploration psychological constructs through natural language expression, extending the natural language processing toolkit to study human psychology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google