What Limits LLM-based Human Simulation: LLMs or Our Design?

要約

私たちは、LLM ベースのヒューマン シミュレーションを進歩させるには、LLM 固有の制限とシミュレーション フレームワーク設計の課題の両方に対処する必要があると主張します。
最近の研究では、LLM ベースの人間シミュレーションと現実世界の観察の間に大きなギャップがあることが明らかになり、これらの 2 つの課題が浮き彫りになっています。
これらのギャップに対処するために、LLM の制限と設計上の問題を包括的に分析し、両方の側面に対して的を絞ったソリューションを提案します。
さらに、特にデータ収集、LLM 生成、評価において、両方の課題に同時に対処する将来の方向性を模索します。
この分野のさらなる研究をサポートするために、LLM ベースのヒューマン シミュレーション リソースの厳選されたコレクションを提供しています。\footnote{https://github.com/Persdre/llm-human-simulation}

要約(オリジナル)

We argue that advancing LLM-based human simulation requires addressing both LLM’s inherent limitations and simulation framework design challenges. Recent studies have revealed significant gaps between LLM-based human simulations and real-world observations, highlighting these dual challenges. To address these gaps, we present a comprehensive analysis of LLM limitations and our design issues, proposing targeted solutions for both aspects. Furthermore, we explore future directions that address both challenges simultaneously, particularly in data collection, LLM generation, and evaluation. To support further research in this field, we provide a curated collection of LLM-based human simulation resources.\footnote{https://github.com/Persdre/llm-human-simulation}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google