Clinically meaningful timeline summarisation in social media for mental health monitoring

要約

メンタルヘルスのモニタリングに適した、ソーシャルメディアユーザーのタイムラインを臨床的に有意義に要約するという新しいタスクを導入します。
私たちは、臨床専門家にとって有用な側面をカバーする高レベルの情報と、ユーザーのソーシャル メディア タイムラインからの時間に敏感な付随する証拠の両方で構成される 2 層の概要を生成する、教師なしの抽象的な要約のための新しいアプローチを開発します。
方法論上の重要な新しさは、長いテキストを表現するように適合され、LLM アノテーション付きキー フレーズによってガイドされる階層変分オートエンコーダ (VAE) のバージョンに基づくタイムライン要約コンポーネントにあります。
結果のタイムライン サマリーは LLM (LLaMA-2) に入力され、指示プロンプトを通じて取得された高レベルの情報と、ユーザーのタイムラインからの対応する証拠の両方を含む最終サマリーが生成されます。
私たちは、専門家が書いた要約に対する自動評価と、臨床専門家による人間による評価を介して、新しいアーキテクチャによって生成された要約を評価しました。TH-VAE によるタイムライン要約が、臨床的有用性に富み、収集において LLM のみのアプローチよりも優れた論理的に一貫した要約をもたらすことを示しています。
時間の経過とともに変化します。

要約(オリジナル)

We introduce the new task of clinically meaningful summarisation of social media user timelines, appropriate for mental health monitoring. We develop a novel approach for unsupervised abstractive summarisation that produces a two-layer summary consisting of both high-level information, covering aspects useful to clinical experts, as well as accompanying time sensitive evidence from a user’s social media timeline. A key methodological novelty comes from the timeline summarisation component based on a version of hierarchical variational autoencoder (VAE) adapted to represent long texts and guided by LLM-annotated key phrases. The resulting timeline summary is input into a LLM (LLaMA-2) to produce the final summary containing both the high level information, obtained through instruction prompting, as well as corresponding evidence from the user’s timeline. We assess the summaries generated by our novel architecture via automatic evaluation against expert written summaries and via human evaluation with clinical experts, showing that timeline summarisation by TH-VAE results in logically coherent summaries rich in clinical utility and superior to LLM-only approaches in capturing changes over time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google