Can large language models democratize access to dual-use biotechnology?

要約

「チャットボット」に埋め込まれているような大規模言語モデル (LLM) は、さまざまな分野のわかりやすい情報と専門知識を提供することで研究を加速し、民主化しています。
ただし、これらのモデルは、多大な損害を与える可能性のある二重用途テクノロジーに簡単にアクセスできる可能性もあります。
このリスクを評価するために、MIT の「未来を守る」コースでは、科学者以外の学生に、LLM チャットボットがパンデミックを引き起こす非専門家を支援するよう促される可能性があるかどうかを調査するという課題を課しました。
1 時間のうちに、チャットボットは 4 つの潜在的なパンデミック病原体を提案し、逆遺伝学を使用して合成 DNA からどのように生成できるかを説明し、注文をスクリーニングする可能性が低い DNA 合成会社の名前を提供し、詳細なプロトコルとそのトラブルシューティング方法を特定し、誰でも次のことを行うことを推奨しました。
逆遺伝学を実行するスキルが不足している場合は、中核施設または委託研究機関に依頼してください。
総合すると、これらの結果は、LLM によって、パンデミッククラスの病原体が信頼できる形で特定されるとすぐに、研究室での訓練をほとんどまたはまったく受けていない人々であっても、広くアクセスできるようになることを示唆しています。
有望な拡散防止策には、第三者によるLLMのリリース前評価、有害な概念を除去するためのトレーニングデータセットのキュレーション、合成プロバイダーによって生成された、または生物やウイルスを操作するために受託研究組織やロボットクラウドラボラトリーによって使用されたすべてのDNAの検証可能なスクリーニングが含まれます。

要約(オリジナル)

Large language models (LLMs) such as those embedded in ‘chatbots’ are accelerating and democratizing research by providing comprehensible information and expertise from many different fields. However, these models may also confer easy access to dual-use technologies capable of inflicting great harm. To evaluate this risk, the ‘Safeguarding the Future’ course at MIT tasked non-scientist students with investigating whether LLM chatbots could be prompted to assist non-experts in causing a pandemic. In one hour, the chatbots suggested four potential pandemic pathogens, explained how they can be generated from synthetic DNA using reverse genetics, supplied the names of DNA synthesis companies unlikely to screen orders, identified detailed protocols and how to troubleshoot them, and recommended that anyone lacking the skills to perform reverse genetics engage a core facility or contract research organization. Collectively, these results suggest that LLMs will make pandemic-class agents widely accessible as soon as they are credibly identified, even to people with little or no laboratory training. Promising nonproliferation measures include pre-release evaluations of LLMs by third parties, curating training datasets to remove harmful concepts, and verifiably screening all DNA generated by synthesis providers or used by contract research organizations and robotic cloud laboratories to engineer organisms or viruses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google