Automatic Scoring of Dream Reports’ Emotional Content with Large Language Models

要約

夢研究の分野では、夢の内容の研究は通常、夢想家が睡眠から目覚めたときに提供する口頭報告の分析に依存しています。
このタスクは、従来、訓練を受けたアノテーターが提供する手動のスコアリングによって実行されますが、多大な時間がかかります。
自然言語処理 (NLP) ツールが夢レポートの自動分析をサポートできることは、一貫した研究によって示唆されていますが、提案された方法には、レポートの完全なコンテキストを推論する能力がなく、大規模なデータの前処理が必要でした。
さらに、ほとんどの場合、これらの方法は、標準的な手動スコアリング アプローチに対して検証されていませんでした。
この作業では、大規模な言語モデル (LLM) を採用して、レポートの感情への参照に重点を置いて、既製のアプローチとオーダーメイドのアプローチを組み合わせて、夢レポートの手動注釈を研究および複製することにより、これらの制限に対処します。
私たちの結果は、既製の方法は、おそらく異なる（グループの）個人で収集されたレポート間の固有の言語的違いに照らして、低いパフォーマンスを達成することを示しています。
一方、提案されたオーダーメイドのテキスト分類方法は、潜在的なバイアスに対してロバストな高性能を達成します。
全体として、これらの観察結果は、私たちのアプローチが大規模な夢のデータセットの分析に応用できることを示しており、研究間の結果の再現性と比較可能性を支持する可能性があります。

要約(オリジナル)

In the field of dream research, the study of dream content typically relies on the analysis of verbal reports provided by dreamers upon awakening from their sleep. This task is classically performed through manual scoring provided by trained annotators, at a great time expense. While a consistent body of work suggests that natural language processing (NLP) tools can support the automatic analysis of dream reports, proposed methods lacked the ability to reason over a report’s full context and required extensive data pre-processing. Furthermore, in most cases, these methods were not validated against standard manual scoring approaches. In this work, we address these limitations by adopting large language models (LLMs) to study and replicate the manual annotation of dream reports, using a mixture of off-the-shelf and bespoke approaches, with a focus on references to reports’ emotions. Our results show that the off-the-shelf method achieves a low performance probably in light of inherent linguistic differences between reports collected in different (groups of) individuals. On the other hand, the proposed bespoke text classification method achieves a high performance, which is robust against potential biases. Overall, these observations indicate that our approach could find application in the analysis of large dream datasets and may favour reproducibility and comparability of results across studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google