Intrinsic Bias is Predicted by Pretraining Data and Correlates with Downstream Performance in Vision-Language Encoders

投稿日: 2025年6月11日 作成者: jarxiv

要約

最近の研究では、対照的な言語イメージ前トレーニング（CLIP）フレームワークの下で訓練されたビジョン言語モデルには、本質的な社会的バイアスが含まれていることがわかりました。
この作業では、クリップモデルの上流のプリトレーニング要因と下流のパフォーマンスが本質的なバイアスにどのように関係しているかについて、最大の包括的な分析を提示します。
26のデータセットでトレーニングされ、55のアーキテクチャを使用して、さまざまなサイズでトレーニングされた131の一意のクリップモデルを研究し、26の定評のある単峰性およびクロスモーダルの原則的な埋め込み関連テストを使用して、各モデルのバイアスを評価します。
トレーニング前のデータセットの選択は、バイアスの最も重要な上流の予測因子であるのに対し、建築の変動は最小限の影響を与えることがわかります。
さらに、ダウンストリームモデルのパフォーマンスを向上させることを目的とした洗練されたフィルタリング技術を使用してキュレーションされたデータセットは、本質的なバイアスのレベルが高くなる傾向があります。
最後に、本質的なバイアスはしばしば下流のパフォーマンス（$ 0.3 \ leq r \ leq 0.8 $）と大幅に相関していることが観察され、パフォーマンスに最適化されたモデルが表現バイアスを増幅することを不注意に学習することを示唆しています。
ユニモーダルアソシエーションテストとクロスモーダル関連テストの比較により、社会グループのバイアスはモダリティに大きく依存していることが明らかになりました。
私たちの調査結果は、モデル開発パイプライン全体で視覚言語モデルの固有のモデルバイアスに対処するには、より洗練された戦略が必要であることを意味します。

要約(オリジナル)

While recent work has found that vision-language models trained under the Contrastive Language Image Pre-training (CLIP) framework contain intrinsic social biases, the extent to which different upstream pre-training features of the framework relate to these biases, and hence how intrinsic bias and downstream performance are connected has been unclear. In this work, we present the largest comprehensive analysis to-date of how the upstream pre-training factors and downstream performance of CLIP models relate to their intrinsic biases. Studying 131 unique CLIP models, trained on 26 datasets, using 55 architectures, and in a variety of sizes, we evaluate bias in each model using 26 well-established unimodal and cross-modal principled Embedding Association Tests. We find that the choice of pre-training dataset is the most significant upstream predictor of bias, whereas architectural variations have minimal impact. Additionally, datasets curated using sophisticated filtering techniques aimed at enhancing downstream model performance tend to be associated with higher levels of intrinsic bias. Finally, we observe that intrinsic bias is often significantly correlated with downstream performance ($0.3 \leq r \leq 0.8$), suggesting that models optimized for performance inadvertently learn to amplify representational biases. Comparisons between unimodal and cross-modal association tests reveal that social group bias depends heavily on the modality. Our findings imply that more sophisticated strategies are needed to address intrinsic model bias for vision-language models across the entire model development pipeline.

arxiv情報

著者 Kshitish Ghate,Isaac Slaughter,Kyra Wilson,Mona Diab,Aylin Caliskan
発行日 2025-06-10 15:37:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Intrinsic Bias is Predicted by Pretraining Data and Correlates with Downstream Performance in Vision-Language Encoders はコメントを受け付けていません

Quantum Adiabatic Generation of Human-Like Passwords

投稿日: 2025年6月11日 作成者: jarxiv

要約

自然言語処理用の生成人工知能（GENAI）（NLP）は、これまでに優勢なAIテクノロジーです。
量子コンピューティング（QC）の重要な視点は、QCがGenaiモデルのトレーニングと運用の膨大なリソース要件を削減する可能性があるかどうかの問題です。
現在、大規模な生成NLPタスクは実用的な量子コンピューターでは手の届かないところにありますが、パスワードなどの短いセマンティック構造の生成はそうではありません。
実際のユーザーの動作を模倣するパスワードの生成には、現実的な脅威モデルに対する認証システムをテストするなど、多くのアプリケーションがあります。
深い学習による古典的なパスワードの生成は、最近、斬新で現実的なパスワード候補を生成する能力に大きな進歩を遂げて調査されています。
現在の作業では、このタスクの断熱量子コンピューターの有用性を調査します。
より正確には、トークン文字列のさまざまなエンコーディングを研究し、二次制約のないバイナリ最適化（QUBO）およびユニットディスク最大独立セット（UD-MIS）の問題に基づいて新しいアプローチを提案します。
私たちのアプローチにより、データからのトークン分布を推定し、測定して生成されたパスワードを最終的にサンプリングする量子状態を断熱的に準備することができます。
我々の結果は、Quera Aquila 256 Qubit Neutral Atom Quantum Computerで生成された128のパスワードの比較的小さなサンプルに、「Tunas200992」や「Teedem28iglove」などの人間のようなパスワードが含まれていることを示しています。

要約(オリジナル)

Generative Artificial Intelligence (GenAI) for Natural Language Processing (NLP) is the predominant AI technology to date. An important perspective for Quantum Computing (QC) is the question whether QC has the potential to reduce the vast resource requirements for training and operating GenAI models. While large-scale generative NLP tasks are currently out of reach for practical quantum computers, the generation of short semantic structures such as passwords is not. Generating passwords that mimic real user behavior has many applications, for example to test an authentication system against realistic threat models. Classical password generation via deep learning have recently been investigated with significant progress in their ability to generate novel, realistic password candidates. In the present work we investigate the utility of adiabatic quantum computers for this task. More precisely, we study different encodings of token strings and propose novel approaches based on the Quadratic Unconstrained Binary Optimization (QUBO) and the Unit-Disk Maximum Independent Set (UD-MIS) problems. Our approach allows us to estimate the token distribution from data and adiabatically prepare a quantum state from which we eventually sample the generated passwords via measurements. Our results show that relatively small samples of 128 passwords, generated on the QuEra Aquila 256-qubit neutral atom quantum computer, contain human-like passwords such as ‘Tunas200992’ or ‘teedem28iglove’.

arxiv情報

著者 Sascha Mücke,Raoul Heese,Thore Gerlach,David Biesner,Loong Kuan Lee,Nico Piatkowski
発行日 2025-06-10 15:43:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, quant-ph | Quantum Adiabatic Generation of Human-Like Passwords はコメントを受け付けていません

PropMEND: Hypernetworks for Knowledge Propagation in LLMs

投稿日: 2025年6月11日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の知識編集手法は、後で再現可能な逐語的な知識を注入できますが、知識を伝えることに不足しています。モデルは、注入された知識を持って推論を必要とする質問に答えることができません。
PropMendという名前の知識伝播のためのハイパーネットワークベースのアプローチを提示します。ここでは、言語モデリングの損失の勾配を変更して、注入された情報を伝播することを奨励する方法をメタを記録します。
私たちのアプローチは、MENDのメタ客観を拡張し[29]、知識に関する勾配の更新が変換され、その知識が関与するマルチホップの質問に答えることができるようになります。
RippleEditデータセットでのパフォーマンスの向上を示し、挿入された事実では答えが明示的に述べられていない挑戦的なマルチホップの質問でほぼ2倍の精度を示しています。
さらに、ハイパーネットワークの一般化を評価するために、新しいデータセットであるRippleEditを制御し、ハイパーネットワークトレーニング中に目にされていない関係やエンティティに沿った知識の伝播をテストします。
Propmendは、目に見えないエンティティ関連のペアで既存のアプローチよりも優れていますが、パフォーマンスギャップは大幅に減少し、幅広い関係に知識を伝播する将来の仕事を示唆しています。

要約(オリジナル)

Knowledge editing techniques for large language models (LLMs) can inject knowledge that is later reproducible verbatim, but they fall short on propagating that knowledge: models cannot answer questions that require reasoning with the injected knowledge. We present a hypernetwork-based approach for knowledge propagation, named PropMEND, where we meta-learn how to modify gradients of a language modeling loss to encourage injected information to propagate. Our approach extends the meta-objective of MEND [29] so that gradient updates on knowledge are transformed to enable answering multi-hop questions involving that knowledge. We show improved performance on the RippleEdit dataset, showing almost 2x accuracy on challenging multi-hop questions whose answers are not explicitly stated in the injected fact. We further introduce a new dataset, Controlled RippleEdit, to evaluate the generalization of our hypernetwork, testing knowledge propagation along relations and entities unseen during hypernetwork training. PropMEND still outperforms existing approaches in unseen entity-relation pairs, yet the performance gap decreases substantially, suggesting future work in propagating knowledge to a wide range of relations.

arxiv情報

著者 Zeyu Leo Liu,Greg Durrett,Eunsol Choi
発行日 2025-06-10 15:44:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | PropMEND: Hypernetworks for Knowledge Propagation in LLMs はコメントを受け付けていません

Can A Gamer Train A Mathematical Reasoning Model?

投稿日: 2025年6月11日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、数学的推論を含むさまざまなタスクで顕著なパフォーマンスを達成していますが、それらの開発は通常、法外な計算リソースを必要とします。
最近の進歩により、トレーニングに能力のあるモデルのコストが削減されましたが、これらのアプローチでさえ、ハイエンドのハードウェアクラスターに依存しています。
この論文では、単一の平均的なゲームGPUが、強化学習とメモリの最適化手法を統合することにより、堅実な数学的推論モデルをトレーニングできることを実証します。
具体的には、リソースに制約のある環境で、数倍のモデルよりも数倍のモデルよりも数学的な推論ベンチマークで比較可能またはより良いパフォーマンスを達成する16GBメモリのRTX 3080 TIで1.5Bパラメーター数学的推論モデルをトレーニングします。
私たちの結果は、最先端の数学的推論が大規模なインフラストラクチャを必要とするパラダイムに挑戦し、高性能AI研究へのアクセスを民主化します。
https://github.com/shinandrew/youronmath。

要約(オリジナル)

While large language models (LLMs) have achieved remarkable performance in various tasks including mathematical reasoning, their development typically demands prohibitive computational resources. Recent advancements have reduced costs for training capable models, yet even these approaches rely on high-end hardware clusters. In this paper, we demonstrate that a single average gaming GPU can train a solid mathematical reasoning model, by integrating reinforcement learning and memory optimization techniques. Specifically, we train a 1.5B parameter mathematical reasoning model on RTX 3080 Ti of 16GB memory that achieves comparable or better performance on mathematical reasoning benchmarks than models several times larger, in resource-constrained environments. Our results challenge the paradigm that state-of-the-art mathematical reasoning necessitates massive infrastructure, democratizing access to high-performance AI research. https://github.com/shinandrew/YouronMath.

arxiv情報

著者 Andrew Shin
発行日 2025-06-10 16:00:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Can A Gamer Train A Mathematical Reasoning Model? はコメントを受け付けていません

The Impact of Large Language Models on Open-source Innovation: Evidence from GitHub Copilot

投稿日: 2025年6月11日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、ガイド付き設定での個々の生産性を向上させることが示されています。
LLMは、共同作業設定でイノベーションプロセスを変換する可能性が高いのに対し、この変換がどのような軌道に続くかは不明です。
これらのコンテキストでのイノベーションには、プロジェクトで新しい能力を獲得することにより、新しい可能性を探る能力イノベーションと、確立された能力を高め、プロジェクトの品質を向上させることで既存の財団を活用する反復的なイノベーションの両方を網羅しています。
LLMSは、共同作業のこれら2つの側面に影響を与えるかどうか、およびオープンな経験的質問はどの程度までに影響します。
オープンソース開発は、貢献の自発的でオープン/協力的な性質が技術的増強の最大の機会を提供するため、これらのイノベーションタイプに対するLLMの影響を調べるための理想的な設定を提供します。
2021年10月にGitHub Copilot（プログラミング中心のLLM）の選択的ロールアウトを中心に自然な実験を活用することにより、Githubのオープンソースプロジェクトに焦点を当てています。GithubCopilotは、RやHaskellではなくPythonや錆などのプログラミング言語を選択的にサポートしています。
全体的な貢献の大幅なジャンプを観察し、LLMSがガイド付きの環境での共同イノベーションを効果的に強化することを示唆しています。
興味深いことに、Copilotの発売により、コード開発または機能導入コミットを通じて能力イノベーションよりも、メンテナンス関連または機能反復の貢献に焦点を当てた反復的なイノベーションが増加しました。
この格差は、2022年6月のモデルアップグレード後により顕著であり、広範なコーディングアクティビティを備えたアクティブなプロジェクトで明らかになり、LLM機能と利用可能なコンテキスト情報の両方が改善されると、能力と反復イノベーションのギャップが拡大する可能性があることを示唆しています。
高価値の革新的なソリューションを奨励するための実用的および政策的意味合いについて説明します。

要約(オリジナル)

Large Language Models (LLMs) have been shown to enhance individual productivity in guided settings. Whereas LLMs are likely to also transform innovation processes in a collaborative work setting, it is unclear what trajectory this transformation will follow. Innovation in these contexts encompasses both capability innovation that explores new possibilities by acquiring new competencies in a project and iterative innovation that exploits existing foundations by enhancing established competencies and improving project quality. Whether LLMs affect these two aspects of collaborative work and to what extent is an open empirical question. Open-source development provides an ideal setting to examine LLM impacts on these innovation types, as its voluntary and open/collaborative nature of contributions provides the greatest opportunity for technological augmentation. We focus on open-source projects on GitHub by leveraging a natural experiment around the selective rollout of GitHub Copilot (a programming-focused LLM) in October 2021, where GitHub Copilot selectively supported programming languages like Python or Rust, but not R or Haskell. We observe a significant jump in overall contributions, suggesting that LLMs effectively augment collaborative innovation in an unguided setting. Interestingly, Copilot’s launch increased iterative innovation focused on maintenance-related or feature-refining contributions significantly more than it did capability innovation through code-development or feature-introducing commits. This disparity was more pronounced after the model upgrade in June 2022 and was evident in active projects with extensive coding activity, suggesting that as both LLM capabilities and/or available contextual information improve, the gap between capability and iterative innovation may widen. We discuss practical and policy implications to incentivize high-value innovative solutions.

arxiv情報

著者 Doron Yeverechyahu,Raveesh Mayya,Gal Oestreicher-Singer
発行日 2025-06-10 16:00:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.SE, D.2.7, econ.GN, q-fin.EC | The Impact of Large Language Models on Open-source Innovation: Evidence from GitHub Copilot はコメントを受け付けていません

Can LLMs Ground when they (Don’t) Know: A Study on Direct and Loaded Political Questions

投稿日: 2025年6月11日 作成者: jarxiv

要約

人間間のコミュニケーションは、会話の基礎に依存しており、対話者が完全な知識を持っていない場合でも相互の理解に到達できるようになり、お互いの信念の矛盾を解決しなければなりません。
この論文では、言語モデル（LLM）が知識を持っている場合に共通の基盤を管理する方法を調査し、誤った情報と接地の失敗のリスクが高い政治的領域の事実に焦点を当てています。
LLMSが直接的な知識の質問に答え、誤った情報を前提とする質問に答える能力を調べます。
ロードされた質問が、LLMが積極的な接地に関与し、知識のレベルと政治的バイアスに関連して、誤ったユーザーの信念を修正するように導くかどうかを評価します。
私たちの調査結果は、LLMSの根拠に従事し、誤ったユーザーの信念を拒否する能力における重要な課題を強調し、政治的言説における誤った情報の緩和における彼らの役割についての懸念を高めています。

要約(オリジナル)

Communication among humans relies on conversational grounding, allowing interlocutors to reach mutual understanding even when they do not have perfect knowledge and must resolve discrepancies in each other’s beliefs. This paper investigates how large language models (LLMs) manage common ground in cases where they (don’t) possess knowledge, focusing on facts in the political domain where the risk of misinformation and grounding failure is high. We examine the ability of LLMs to answer direct knowledge questions and loaded questions that presuppose misinformation. We evaluate whether loaded questions lead LLMs to engage in active grounding and correct false user beliefs, in connection to their level of knowledge and their political bias. Our findings highlight significant challenges in LLMs’ ability to engage in grounding and reject false user beliefs, raising concerns about their role in mitigating misinformation in political discourse.

arxiv情報

著者 Clara Lachenmaier,Judith Sieker,Sina Zarrieß
発行日 2025-06-10 16:20:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Can LLMs Ground when they (Don’t) Know: A Study on Direct and Loaded Political Questions はコメントを受け付けていません

IntTrajSim: Trajectory Prediction for Simulating Multi-Vehicle driving at Signalized Intersections

投稿日: 2025年6月11日 作成者: jarxiv

要約

トラフィックシミュレーターは、道路インフラストラクチャの運用効率を研究するために広く使用されていますが、それらのルールベースのアプローチは、実際の運転行動を模倣する能力を制限します。
交通の交差点は、安全リスク（致命的なクラッシュのほぼ28％と交差点で発生する致命的なクラッシュの58％）と道路回廊の運用効率の両方で、道路インフラストラクチャの重要なコンポーネントです。
これは重要な疑問を提起します。トラフィック交差点での運転行動のマクロおよびマイクロ統計を模倣できるデータ駆動型シミュレーターを作成できますか？
深い生成モデリングベースの軌道予測モデルは、交差点で車両の複雑なダイナミクスをモデル化するための優れた出発点を提供します。
しかし、それらは「ライブ」マイクロシミュレーションシナリオでテストされておらず、トラフィックエンジニアリング関連のメトリックで評価されていません。
この研究では、トラフィックエンジニアリング関連のメトリックを提案して、生成軌道予測モデルを評価し、それを行うためのループ内のパイプラインシミュレーションを提供します。
また、評価メトリックの以前のモデルを上回る信号情報を組み込んだ多目的自己触媒ベースの軌跡予測モデルも提供します。

要約(オリジナル)

Traffic simulators are widely used to study the operational efficiency of road infrastructure, but their rule-based approach limits their ability to mimic real-world driving behavior. Traffic intersections are critical components of the road infrastructure, both in terms of safety risk (nearly 28% of fatal crashes and 58% of nonfatal crashes happen at intersections) as well as the operational efficiency of a road corridor. This raises an important question: can we create a data-driven simulator that can mimic the macro- and micro-statistics of the driving behavior at a traffic intersection? Deep Generative Modeling-based trajectory prediction models provide a good starting point to model the complex dynamics of vehicles at an intersection. But they are not tested in a ‘live’ micro-simulation scenario and are not evaluated on traffic engineering-related metrics. In this study, we propose traffic engineering-related metrics to evaluate generative trajectory prediction models and provide a simulation-in-the-loop pipeline to do so. We also provide a multi-headed self-attention-based trajectory prediction model that incorporates the signal information, which outperforms our previous models on the evaluation metrics.

arxiv情報

著者 Yash Ranjan,Rahul Sengupta,Anand Rangarajan,Sanjay Ranka
発行日 2025-06-10 16:27:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | IntTrajSim: Trajectory Prediction for Simulating Multi-Vehicle driving at Signalized Intersections はコメントを受け付けていません

Towards Robust Deep Reinforcement Learning against Environmental State Perturbation

投稿日: 2025年6月11日 作成者: jarxiv

要約

ディープ補強学習（DRL）における敵対的な攻撃と堅牢性は、さまざまな脅威モデルで広く研究されています。
ただし、具体化されたシナリオでは自然な環境状態の摂動を考慮する人はほとんどいません。
DRLエージェントの堅牢性を向上させるために、環境状態の摂動の問題を策定し、キャリブレーション敵として予備的な非ターゲット攻撃方法を導入し、次にブーストされた敵対的訓練（BAT）と名付けられた防衛フレームワークを提案します。
広範な実験結果は、環境状態の摂動に基づく主流のエージェントの脆弱性と、提案された攻撃の有効性を実証します。
防衛結果は、既存の堅牢な強化学習アルゴリズムが適切ではないかもしれないが、私たちのバットフレームワークは、さまざまな状況で環境状態の摂動に対するエージェントの堅牢性を大幅に高めることができることを示しています。

要約(オリジナル)

Adversarial attacks and robustness in Deep Reinforcement Learning (DRL) have been widely studied in various threat models; however, few consider environmental state perturbations, which are natural in embodied scenarios. To improve the robustness of DRL agents, we formulate the problem of environmental state perturbation, introducing a preliminary non-targeted attack method as a calibration adversary, and then propose a defense framework, named Boosted Adversarial Training (BAT), which first tunes the agents via supervised learning to avoid catastrophic failure and subsequently adversarially trains the agent with reinforcement learning. Extensive experimental results substantiate the vulnerability of mainstream agents under environmental state perturbations and the effectiveness of our proposed attack. The defense results demonstrate that while existing robust reinforcement learning algorithms may not be suitable, our BAT framework can significantly enhance the robustness of agents against environmental state perturbations across various situations.

arxiv情報

著者 Chenxu Wang,Huaping Liu
発行日 2025-06-10 16:32:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Towards Robust Deep Reinforcement Learning against Environmental State Perturbation はコメントを受け付けていません

AI as Decision-Maker: Ethics and Risk Preferences of LLMs

投稿日: 2025年6月11日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）は、AIの意思決定者として機能する際に驚くほど多様なリスクの好みを示します。これは、経済的役割の拡大にもかかわらず、起源があまり理解されていない重要な特性です。
行動タスクを使用して50のLLMを分析し、安定したが多様なリスクプロファイルを見つけます。
無害性、有用性、誠実さへのアラインメントチューニングは、リスク回避を大幅に増加させ、比較差分析によって確認されたリスク回避を因果的に増加させます。10％の倫理が増加すると、リスクアッピットが2〜8％削減されます。
この誘導的な注意は、プロンプトに対して持続し、経済的予測に影響を与えます。
アラインメントは安全性を高めますが、貴重なリスクの採取を抑制し、トレードオフの危険を冒す経済的結果を危険にさらす可能性があります。
AIモデルは経済的意思決定に強力で影響力を高めながら、調整がますます重要になりますが、私たちの経験的フレームワークは、リスクの好みを追跡し、倫理的整合性と経済的に貴重なリスクテイクの間のこの重要な緊張を監視するための適応性のある永続的なベンチマークとして機能します。

要約(オリジナル)

Large Language Models (LLMs) exhibit surprisingly diverse risk preferences when acting as AI decision makers, a crucial characteristic whose origins remain poorly understood despite their expanding economic roles. We analyze 50 LLMs using behavioral tasks, finding stable but diverse risk profiles. Alignment tuning for harmlessness, helpfulness, and honesty significantly increases risk aversion, causally increasing risk aversion confirmed via comparative difference analysis: a ten percent ethics increase cuts risk appetite two to eight percent. This induced caution persists against prompts and affects economic forecasts. Alignment enhances safety but may also suppress valuable risk taking, revealing a tradeoff risking suboptimal economic outcomes. With AI models becoming more powerful and influential in economic decisions while alignment grows increasingly critical, our empirical framework serves as an adaptable and enduring benchmark to track risk preferences and monitor this crucial tension between ethical alignment and economically valuable risk-taking.

arxiv情報

著者 Shumiao Ouyang,Hayong Yun,Xingjian Zheng
発行日 2025-06-10 16:33:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CY, cs.ET, cs.HC, econ.GN, q-fin.EC | AI as Decision-Maker: Ethics and Risk Preferences of LLMs はコメントを受け付けていません

AnnaAgent: Dynamic Evolution Agent System with Multi-Session Memory for Realistic Seeker Simulation

投稿日: 2025年6月11日 作成者: jarxiv

要約

AI主導のメンタルヘルスに実際の探求者を巻き込むというコストと倫理的懸念に制約されている研究者は、探求者をシミュレートするために、プロファイル、症状、シナリオなどの調整された構成でLLMベースの会話エージェント（CA）を開発します。
これらの努力はメンタルヘルスにおいてAIを促進しますが、より現実的なシーカーシミュレーションを達成することは、動的進化とマルチセッションメモリという2つの重要な課題によって妨げられたままです。
探求者の精神状態は、通常、複数のセッションにまたがるカウンセリング中にしばしば変動します。
これに対処するために、三次記憶を備えた感情的および認知的動的エージェントシステムであるAnnaagentを提案します。
Annaagentは、感情変調器と、実際のカウンセリングの対話について訓練された苦情を組み込み、シミュレーターの構成の動的制御を可能にします。
さらに、その三次メモリメカニズムは、セッション全体で短期および長期のメモリを効果的に統合します。
自動化されたマニュアルとマニュアルの両方の評価結果は、Annaagentが既存のベースラインと比較して、心理カウンセリングでより現実的なシーカーシミュレーションを達成することを示しています。
倫理的にレビューされ、スクリーン化されたコードは、https：//github.com/sci-m-wang/annaagentにあります。

要約(オリジナル)

Constrained by the cost and ethical concerns of involving real seekers in AI-driven mental health, researchers develop LLM-based conversational agents (CAs) with tailored configurations, such as profiles, symptoms, and scenarios, to simulate seekers. While these efforts advance AI in mental health, achieving more realistic seeker simulation remains hindered by two key challenges: dynamic evolution and multi-session memory. Seekers’ mental states often fluctuate during counseling, which typically spans multiple sessions. To address this, we propose AnnaAgent, an emotional and cognitive dynamic agent system equipped with tertiary memory. AnnaAgent incorporates an emotion modulator and a complaint elicitor trained on real counseling dialogues, enabling dynamic control of the simulator’s configurations. Additionally, its tertiary memory mechanism effectively integrates short-term and long-term memory across sessions. Evaluation results, both automated and manual, demonstrate that AnnaAgent achieves more realistic seeker simulation in psychological counseling compared to existing baselines. The ethically reviewed and screened code can be found on https://github.com/sci-m-wang/AnnaAgent.

arxiv情報

著者 Ming Wang,Peidong Wang,Lin Wu,Xiaocui Yang,Daling Wang,Shi Feng,Yuxin Chen,Bixuan Wang,Yifei Zhang
発行日 2025-06-10 16:35:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | AnnaAgent: Dynamic Evolution Agent System with Multi-Session Memory for Realistic Seeker Simulation はコメントを受け付けていません