要約
タイトル： ChatGPTはGoogle Scholarの引用数だけを頼りに最も引用された論文やジャーナルを引用するため、環境科学では「Matthew効果」を増幅させる可能性がある。
要約：
– GPTは最近100百万人以上のユーザーがいる画期的な技術であり、情報の出典に関する知識が限られている。
– 環境科学における情報元に焦点を当てた研究を実施し、GPTに環境科学の10の最も重要なサブ分野を特定するように要求しました。それぞれのサブ分野について、25の引用文献を含む科学的レビュー論文を作成するように頼みました。
– 我々は、これらの引用文献を分析し、引用数、出版年、および文献が発表されたジャーナルなどの要因に注目しました。
– 結果として、GPTは環境科学の高い引用数の論文を引用する傾向があり、中央値の引用数は1184.5であった。また、GPTは古い出版物に好みを示し、中央値の出版年は2010年であり、ナチュアが最も引用されたジャーナルであることが判明しました。
– 興味深いことに、GPTは他の科学データベース（Web of ScienceやScopusなど）からの引用情報を利用するのではなく、引用数のみをGoogle Scholarから取得しているということが示唆されている。
– 結論として、我々の研究はGoogle Scholarの引用数がGPTにおいて重要な要素であることを示しており、科学データベースの中でもGoogle Scholarが支配的な役割を果たし、科学におけるMatthew効果を増幅することが示唆されています。多くの学者がGPTを文献調査の目的で利用していることから、あまり引用されていない論文と非常に引用されている論文の間の格差がさらに拡大すると予想されます。
要約(オリジナル)
ChatGPT (GPT) has become one of the most talked-about innovations in recent years, with over 100 million users worldwide. However, there is still limited knowledge about the sources of information GPT utilizes. As a result, we carried out a study focusing on the sources of information within the field of environmental science. In our study, we asked GPT to identify the ten most significant subdisciplines within the field of environmental science. We then asked it to compose a scientific review article on each subdiscipline, including 25 references. We proceeded to analyze these references, focusing on factors such as the number of citations, publication date, and the journal in which the work was published. Our findings indicate that GPT tends to cite highly-cited publications in environmental science, with a median citation count of 1184.5. It also exhibits a preference for older publications, with a median publication year of 2010, and predominantly refers to well-respected journals in the field, with Nature being the most cited journal by GPT. Interestingly, our findings suggest that GPT seems to exclusively rely on citation count data from Google Scholar for the works it cites, rather than utilizing citation information from other scientific databases such as Web of Science or Scopus. In conclusion, our study suggests that Google Scholar citations play a significant role as a predictor for mentioning a study in GPT-generated content. This finding reinforces the dominance of Google Scholar among scientific databases and perpetuates the Matthew Effect in science, where the rich get richer in terms of citations. With many scholars already utilizing GPT for literature review purposes, we can anticipate further disparities and an expanding gap between lesser-cited and highly-cited publications.
arxiv情報
| 著者 | Eduard Petiska |
| 発行日 | 2023-04-13 19:29:49+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, OpenAI