From Complexity to Clarity: How AI Enhances Perceptions of Scientists and the Public’s Understanding of Science

要約

この論文では、科学コミュニケーションを簡素化し、科学に対する国民の理解を高めるために生成 AI を使用する有効性を評価しました。
この研究では、PNAS のジャーナル記事の一般的な要約を AI によって生成された要約と比較することにより、まず、追跡実験でそのような要約間の言語的単純さの違いと一般の認識を評価しました。
具体的には、研究 1a では、PNAS 要約 (科学的要約) と重要性ステートメント (一般的要約) の簡潔さの特徴を分析し、一般的要約の方が確かに言語的に単純であるものの、効果量の差が小さいことが観察されました。
研究 1b では、大規模な言語モデルである GPT-4 を使用して、論文要約に基づいて重要性ステートメントを作成しました。これにより、微調整なしで平均効果量が 2 倍以上になりました。
研究 2 では、より複雑に書かれた人間の PNAS 要約よりも、単純に書かれた GPT 要約の方が科学者に好意的な認識を与えやすいことが実験的に実証されました (GPT 要約は信頼性が高く、信頼できるものであると認識されていましたが、知性が低いと認識されていました)。
重要なことに、研究 3 では、複雑な PNAS 要約と比較して、単純な GPT 要約を読んだ後、参加者が科学的文章をよりよく理解できることが実験的に実証されました。
参加者はまた、同じ論文の PNAS 要約と比較して GPT 要約を読んだ後、自分の言葉で科学論文をより詳細かつ具体的に要約しました。
AI には、シンプルな言語ヒューリスティックを通じて科学コミュニティや一般の人々を巻き込む可能性があり、より情報が豊富な社会に向けた科学普及への AI の統合を提唱しています。

要約(オリジナル)

This paper evaluated the effectiveness of using generative AI to simplify science communication and enhance the public’s understanding of science. By comparing lay summaries of journal articles from PNAS, yoked to those generated by AI, this work first assessed linguistic simplicity differences across such summaries and public perceptions in follow-up experiments. Specifically, Study 1a analyzed simplicity features of PNAS abstracts (scientific summaries) and significance statements (lay summaries), observing that lay summaries were indeed linguistically simpler, but effect size differences were small. Study 1b used a large language model, GPT-4, to create significance statements based on paper abstracts and this more than doubled the average effect size without fine-tuning. Study 2 experimentally demonstrated that simply-written GPT summaries facilitated more favorable perceptions of scientists (they were perceived as more credible and trustworthy, but less intelligent) than more complexly-written human PNAS summaries. Crucially, Study 3 experimentally demonstrated that participants comprehended scientific writing better after reading simple GPT summaries compared to complex PNAS summaries. In their own words, participants also summarized scientific papers in a more detailed and concrete manner after reading GPT summaries compared to PNAS summaries of the same article. AI has the potential to engage scientific communities and the public via a simple language heuristic, advocating for its integration into scientific dissemination for a more informed society.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google