Paired Completion: Flexible Quantification of Issue-framing at Scale with LLMs

要約

テキストによる談話における問題の枠組み、つまり特定のトピック（気候科学対否定主義、女性蔑視対男女平等など）に対する視点を検出し定量化することは、社会科学者や政治学者からプログラム評価者に至るまで、さまざまなエンドユーザーにとって非常に価値があります。
そして政策アナリスト。
ただし、自動自然言語処理 (NLP) 手法にとって概念的な枠組みは、問題の「両側」で使用される単語やフレーズが共通して保持されることが多く、その使用を区別するのは微妙な文体上の華やかさだけであるため、悪名高いことで知られています。
ここでは、大規模なテキスト データセット内で問題の枠組みと物語分析を行うための新しい検出方法を開発し、厳密に評価します。
生成大規模言語モデル (LLM) から導出されたネクスト トークン ログ確率の新しいアプリケーションを導入することにより、特定の問題に関するいずれかの視点のほんの少数の例を使用して、大規模なコーパスで問題のフレーミングを確実かつ効率的に検出できることを示します。
「ペア補完」を呼び出します。
3 つの新しい合成データセットに対する 192 の独立した実験を通じて、プロンプトベースの LLM メソッドと、従来の NLP および最新の LLM コンテキスト埋め込みを使用したラベル付きメソッドに対するペア補完を評価します。
さらに、生産レベルのスケールで実行可能なパフォーマンスの高い手法を特定するためのコストベースの分析と、モデルのバイアス分析も実施します。
私たちの研究は共に、大規模なコーパスにおけるスケーラブルで正確かつバイアスの低い問題の枠組み化への実現可能な道を示しています。

要約(オリジナル)

Detecting and quantifying issue framing in textual discourse – the perspective one takes to a given topic (e.g. climate science vs. denialism, misogyny vs. gender equality) – is highly valuable to a range of end-users from social and political scientists to program evaluators and policy analysts. However, conceptual framing is notoriously challenging for automated natural language processing (NLP) methods since the words and phrases used by either `side’ of an issue are often held in common, with only subtle stylistic flourishes separating their use. Here we develop and rigorously evaluate new detection methods for issue framing and narrative analysis within large text datasets. By introducing a novel application of next-token log probabilities derived from generative large language models (LLMs) we show that issue framing can be reliably and efficiently detected in large corpora with only a few examples of either perspective on a given issue, a method we call `paired completion’. Through 192 independent experiments over three novel, synthetic datasets, we evaluate paired completion against prompt-based LLM methods and labelled methods using traditional NLP and recent LLM contextual embeddings. We additionally conduct a cost-based analysis to mark out the feasible set of performant methods at production-level scales, and a model bias analysis. Together, our work demonstrates a feasible path to scalable, accurate and low-bias issue-framing in large corpora.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google