要約
方法: 革新的なアプローチを通じて、本物の医学文献と AI が生成したコンテンツからオントロジー ベースのナレッジ グラフを構築します。
私たちの目標は、事実情報と未検証のデータを区別することです。
私たちは 2 つのデータセットを編集しました。1 つは「ヒトの病気と症状」クエリを使用した生物医学文献からのもので、もう 1 つは論文をシミュレートして ChatGPT によって生成されました。
これらのデータセット (PubMed および ChatGPT) を使用して、特定のシードを使用してランダムに選択された、それぞれ 250 件の抄録からなる 10 セットを厳選しました。
私たちの手法は、疾患オントロジー (DOID) と症状オントロジー (SYMP) を利用して、公平な比較を促進するナレッジ グラフ、堅牢な数学モデルを構築することに重点を置いています。
当社のファクトチェックアルゴリズムとネットワーク中心性メトリクスを採用することで、GPT 疾患と症状のリンク分析を実施し、ノイズ、仮説、重要な所見の中での事実知識の正確さを定量化しました。
結果: 多様な ChatGPT 知識グラフと PubMed 対応物との比較から得られた結果から、いくつかの興味深い観察結果が明らかになりました。
PubMed ナレッジ グラフには疾患の症状に関する用語が豊富に示されていますが、一部の ChatGPT グラフが接続数でそれらを上回っていることは驚くべきことです。
さらに、一部の GPT グラフは、特に重複ノードについて中心性スコアの優位性を示しています。
この顕著なコントラストは、AI が生成したコンテンツから得られる知識がまだ開発されておらず、検証が待たれている可能性があることを示しています。
すべてのグラフのうち、任意の 2 つのグラフ間の事実リンク率は 60% でピークに達しました。
結論: 私たちの調査結果から得られた興味深い洞察は、ChatGPT データセットから生成されたナレッジ グラフ内の用語間のリンクの驚くべき数であり、対応する PubMed のリンクの一部を上回っていました。
この初期の発見により、リンクが保持している可能性のある新しい知識を明らかにするために、ユニバーサル ネットワーク メトリックを使用したさらなる調査が行われました。
要約(オリジナル)
Methods: Through an innovative approach, we construct ontology-based knowledge graphs from authentic medical literature and AI-generated content. Our goal is to distinguish factual information from unverified data. We compiled two datasets: one from biomedical literature using a ‘human disease and symptoms’ query, and another generated by ChatGPT, simulating articles. With these datasets (PubMed and ChatGPT), we curated 10 sets of 250 abstracts each, selected randomly with a specific seed. Our method focuses on utilizing disease ontology (DOID) and symptom ontology (SYMP) to build knowledge graphs, robust mathematical models that facilitate unbiased comparisons. By employing our fact-checking algorithms and network centrality metrics, we conducted GPT disease-symptoms link analysis to quantify the accuracy of factual knowledge amid noise, hypotheses, and significant findings. Results: The findings obtained from the comparison of diverse ChatGPT knowledge graphs with their PubMed counterparts revealed some interesting observations. While PubMed knowledge graphs exhibit a wealth of disease-symptom terms, it is surprising to observe that some ChatGPT graphs surpass them in the number of connections. Furthermore, some GPT graphs are demonstrating supremacy of the centrality scores, especially for the overlapping nodes. This striking contrast indicates the untapped potential of knowledge that can be derived from AI-generated content, awaiting verification. Out of all the graphs, the factual link ratio between any two graphs reached its peak at 60%. Conclusions: An intriguing insight from our findings was the striking number of links among terms in the knowledge graph generated from ChatGPT datasets, surpassing some of those in its PubMed counterpart. This early discovery has prompted further investigation using universal network metrics to unveil the new knowledge the links may hold.
arxiv情報
| 著者 | Ahmed Abdeen Hamed,Alessandro Crimi,Magdalena M. Misiak,Byung Suk Lee |
| 発行日 | 2023-08-07 22:13:30+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google