Indicative Summarization of Long Discussions

要約

オンライン・フォーラムでは、さまざまなトピックについて、さまざまなスタンスの意見を交換し、議論することができる。自分の主張を発表する機会を提供するだけでなく、他人の主張を広く集めることもできる。しかし、その結果生じる長い議論を概観することは難しい。本論文では、大規模言語モデル（LLM）を用いて、基本的に目次の役割を果たす、長い議論の指標となる要約を生成する新しい教師なしアプローチを提示する。本アプローチでは、まず議論文をクラスタリングし、抽象的要約としてクラスタラベルを生成し、生成されたクラスタラベルを議論フレームに分類することで、2レベルの要約を生成する。広範囲に最適化されたプロンプトエンジニアリングアプローチに基づき、生成クラスタラベリングとフレーム分類のための19~LLMを評価する。我々の提案する指示要約の有用性を評価するために、ディスカッションエクスプローラーと呼ばれる新しいビジュアルインタフェースを用いて、目的主導型のユーザー調査を行った：その結果、我々の提案する指示要約が、長い議論を探索するための便利なナビゲーションツールとして機能することが示された。

要約(オリジナル)

Online forums encourage the exchange and discussion of different stances on many topics. Not only do they provide an opportunity to present one’s own arguments, but may also gather a broad cross-section of others’ arguments. However, the resulting long discussions are difficult to overview. This paper presents a novel unsupervised approach using large language models (LLMs) to generating indicative summaries for long discussions that basically serve as tables of contents. Our approach first clusters argument sentences, generates cluster labels as abstractive summaries, and classifies the generated cluster labels into argumentation frames resulting in a two-level summary. Based on an extensively optimized prompt engineering approach, we evaluate 19~LLMs for generative cluster labeling and frame classification. To evaluate the usefulness of our indicative summaries, we conduct a purpose-driven user study via a new visual interface called Discussion Explorer: It shows that our proposed indicative summaries serve as a convenient navigation tool to explore long discussions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL