Fact-Checking Generative AI: Ontology-Driven Biological Graphs for Disease-Gene Link Verification

要約

さまざまな生成 AI ツールが発表されて以来、科学者は、その生成能力に対する信頼を確立することを期待して、その機能と内容を評価するよう努めてきました。
生成されたコンテンツを検証し、新たな用途を特定するための規制やガイドラインが登場しています。
私たちは、厳密なネットワーク モデルを使用して、ChatGPT クレームがどのように計算的にチェックされるかを実証したいと考えています。
私たちは、ChatGPT コンテンツから考案された生物学的グラフに埋め込まれた知識の集合レベルでのファクトチェックを達成することを目指しています。
私たちは、ChatGPT のリンクされたエンティティの体系的な調査を可能にする生物学的ネットワーク アプローチを採用しました。
私たちは、約 200,000 件の PubMed 抄録から構築された生物学的グラフと、ChatGPT-3.5 Turbo モデルを使用して生成されたデータセットから構築された対応するグラフを比較する、オントロジー主導のファクトチェック アルゴリズムを設計しました。
ランダムに選択された 250 レコードの 10 サンプル、1000 件の「シミュレートされた」記事の ChatGPT データセットでは、事実確認リンクの精度は 70% ～ 86% の範囲でした。
この研究は、ChatGPT で生成されたテキストで見つかった疾患と遺伝子のリンク関係の集合体が高精度であることを実証しました。

要約(オリジナル)

Since the launch of various generative AI tools, scientists have been striving to evaluate their capabilities and contents, in the hope of establishing trust in their generative abilities. Regulations and guidelines are emerging to verify generated contents and identify novel uses. we aspire to demonstrate how ChatGPT claims are checked computationally using the rigor of network models. We aim to achieve fact-checking of the knowledge embedded in biological graphs that were contrived from ChatGPT contents at the aggregate level. We adopted a biological networks approach that enables the systematic interrogation of ChatGPT’s linked entities. We designed an ontology-driven fact-checking algorithm that compares biological graphs constructed from approximately 200,000 PubMed abstracts with counterparts constructed from a dataset generated using the ChatGPT-3.5 Turbo model. In 10-samples of 250 randomly selected records a ChatGPT dataset of 1000 ‘simulated’ articles , the fact-checking link accuracy ranged from 70% to 86%. This study demonstrated high accuracy of aggregate disease-gene links relationships found in ChatGPT-generated texts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google