Measuring Large Language Models Capacity to Annotate Journalistic Sourcing

要約

2022年後半にChatGPTが発表されて以来、大規模言語モデルの能力とその評価は、学術研究と産業界の両方で常に議論され、評価されてきた。法律、医学、数学などいくつかの分野でシナリオとベンチマークが開発され（Bommasani et al.シナリオ開発に十分な注意が払われていない分野のひとつに、ジャーナリズム、特にジャーナリズムの情報源と倫理がある。ジャーナリズムは民主主義における重要な真実決定機能であり（Vincent, 2023）、ソーシングはすべてのオリジナルなジャーナリズムのアウトプットにとって重要な柱である。ソーシングのさまざまなシグナルとそれを記者がどのように正当化するかについて記事に注釈をつけるLLMの能力を評価することは、ベンチマーク・アプローチを保証する重要なシナリオである。より透明で倫理的に厳格なジャーナリズムの形態と、日常的なジャーナリズムを対比する自動化システムを構築できる可能性がある。本論文では、ジャーナリズム研究（Gans, 2004）から着想を得た5つのカテゴリースキーマに基づき、ニュース記事におけるソーシングの特定とアノテーションに関するLLMのパフォーマンスを評価するシナリオを提示する。ユースケース、データセット、メトリクスを提供し、体系的なベンチマークに向けた第一歩とする。精度の調査結果から、LLMベースのアプローチでは、記事内のすべてのソースとなる記述を識別すること、そして同様にソースの種類を照合することがより困難であることが判明した。さらに難しいタスクは、ソースの正当性を見抜くことである。

要約(オリジナル)

Since the launch of ChatGPT in late 2022, the capacities of Large Language Models and their evaluation have been in constant discussion and evaluation both in academic research and in the industry. Scenarios and benchmarks have been developed in several areas such as law, medicine and math (Bommasani et al., 2023) and there is continuous evaluation of model variants. One area that has not received sufficient scenario development attention is journalism, and in particular journalistic sourcing and ethics. Journalism is a crucial truth-determination function in democracy (Vincent, 2023), and sourcing is a crucial pillar to all original journalistic output. Evaluating the capacities of LLMs to annotate stories for the different signals of sourcing and how reporters justify them is a crucial scenario that warrants a benchmark approach. It offers potential to build automated systems to contrast more transparent and ethically rigorous forms of journalism with everyday fare. In this paper we lay out a scenario to evaluate LLM performance on identifying and annotating sourcing in news stories on a five-category schema inspired from journalism studies (Gans, 2004). We offer the use case, our dataset and metrics and as the first step towards systematic benchmarking. Our accuracy findings indicate LLM-based approaches have more catching to do in identifying all the sourced statements in a story, and equally, in matching the type of sources. An even harder task is spotting source justifications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL