Control Risk for Potential Misuse of Artificial Intelligence in Science

要約

科学分野における人工知能 (AI) の応用の拡大は、発見と革新のための前例のない機会をもたらしています。
ただし、この成長にはリスクがないわけではありません。
科学における AI モデルは、悪用されると、有害物質の生成や確立された規制の回避などのリスクを増幅する可能性があります。
この研究では、科学における AI の誤用の危険性についての認識を高め、この分野での責任ある AI の開発と使用を呼びかけることを目的としています。
まず、科学的文脈において AI によってもたらされるリスクを項目化し、次に化学科学における誤用の実例を強調することでリスクを実証します。
これらの事例は、効果的なリスク管理戦略の必要性を浮き彫りにしています。
これに応えて、私たちは科学における AI モデルの誤用リスクを制御する SciGuard と呼ばれるシステムを提案します。
また、さまざまなシステムの安全性を評価するためのレッドチームベンチマーク SciMT-Safety も提案します。
私たちが提案する SciGuard は、良性のテストでパフォーマンスを損なうことなく、評価において有害な影響が最も少ないことを示しています。
最後に、科学における AI モデルの安全かつ倫理的な使用を確保するには、学際的かつ協力的な取り組みの必要性を強調します。
私たちは、私たちの研究が研究者、実務家、政策立案者、一般の人々の間で、科学における AI の倫理的使用に関する生産的な議論を引き起こし、利益を最大化し、誤用のリスクを最小限に抑えることができることを願っています。

要約(オリジナル)

The expanding application of Artificial Intelligence (AI) in scientific fields presents unprecedented opportunities for discovery and innovation. However, this growth is not without risks. AI models in science, if misused, can amplify risks like creation of harmful substances, or circumvention of established regulations. In this study, we aim to raise awareness of the dangers of AI misuse in science, and call for responsible AI development and use in this domain. We first itemize the risks posed by AI in scientific contexts, then demonstrate the risks by highlighting real-world examples of misuse in chemical science. These instances underscore the need for effective risk management strategies. In response, we propose a system called SciGuard to control misuse risks for AI models in science. We also propose a red-teaming benchmark SciMT-Safety to assess the safety of different systems. Our proposed SciGuard shows the least harmful impact in the assessment without compromising performance in benign tests. Finally, we highlight the need for a multidisciplinary and collaborative effort to ensure the safe and ethical use of AI models in science. We hope that our study can spark productive discussions on using AI ethically in science among researchers, practitioners, policymakers, and the public, to maximize benefits and minimize the risks of misuse.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google