Soft Measures for Extracting Causal Collective Intelligence

要約

集合知を理解し、モデル化することは、複雑な社会システムに対処するために不可欠です。
ファジー認知マップ (FCM) と呼ばれる有向グラフは、因果メンタル モデルをエンコードするための強力なツールを提供しますが、テキストから整合性の高い FCM を抽出するのは困難です。
この研究では、大規模言語モデル (LLM) を使用して FCM 抽出を自動化するアプローチを紹介します。
新しいグラフベースの類似性尺度を導入し、その出力を Elo 評価システムを通じて人間の判断と相関させることで評価します。
結果は人間の評価と正の相関を示していますが、最も優れた測定値であっても FCM のニュアンスを捉えるには限界があります。
LLM を微調整するとパフォーマンスが向上しますが、既存の対策ではまだ不十分です。
この研究は、FCM 抽出に合わせたソフト類似性測定の必要性を強調し、NLP による集合知モデリングを推進します。

要約(オリジナル)

Understanding and modeling collective intelligence is essential for addressing complex social systems. Directed graphs called fuzzy cognitive maps (FCMs) offer a powerful tool for encoding causal mental models, but extracting high-integrity FCMs from text is challenging. This study presents an approach using large language models (LLMs) to automate FCM extraction. We introduce novel graph-based similarity measures and evaluate them by correlating their outputs with human judgments through the Elo rating system. Results show positive correlations with human evaluations, but even the best-performing measure exhibits limitations in capturing FCM nuances. Fine-tuning LLMs improves performance, but existing measures still fall short. This study highlights the need for soft similarity measures tailored to FCM extraction, advancing collective intelligence modeling with NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google