Human-centered NLP Fact-checking: Co-Designing with Fact-checkers using Matchmaking for AI

要約

ファクトチェック用に多くの自然言語処理 (NLP) 手法が提案されていますが、学術研究とファクトチェック組織の両方が、ファクトチェッカーの実践、価値観、ニーズとの整合性が低いため、そのような NLP 作業の採用が限られていると報告しています。
これに対処するために、ファクトチェッカー、デザイナー、NLP 研究者が協力してファクトチェッカーのどのようなニーズにテクノロジーで対処すべきかを特定し、潜在的なソリューションのアイデアをブレインストーミングできるようにする共同設計手法である AI のマッチメイキングを調査します。
22 人のプロのファクト チェッカーと実施した共同設計セッションにより、ファクト チェッカーの基準を新しい NLP 設計コンセプトに統合する「北極星」を提供する 11 の設計アイデアが生まれました。
これらの概念は、誤った情報を検出する前の誤った情報、誤った情報を効率的かつ個別に監視すること、ファクトチェッカーの潜在的なバイアスを積極的に削減すること、ファクトチェックレポートを共同で作成することなど多岐にわたります。
私たちの研究は、人間中心のファクトチェックの研究と実践、および AI の共同設計研究の両方に新たな洞察を提供します。

要約(オリジナル)

While many Natural Language Processing (NLP) techniques have been proposed for fact-checking, both academic research and fact-checking organizations report limited adoption of such NLP work due to poor alignment with fact-checker practices, values, and needs. To address this, we investigate a co-design method, Matchmaking for AI, to enable fact-checkers, designers, and NLP researchers to collaboratively identify what fact-checker needs should be addressed by technology, and to brainstorm ideas for potential solutions. Co-design sessions we conducted with 22 professional fact-checkers yielded a set of 11 design ideas that offer a ‘north star’, integrating fact-checker criteria into novel NLP design concepts. These concepts range from pre-bunking misinformation, efficient and personalized monitoring misinformation, proactively reducing fact-checker potential biases, and collaborative writing fact-check reports. Our work provides new insights into both human-centered fact-checking research and practice and AI co-design research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google