10 Security and Privacy Problems in Large Foundation Models

要約

GPT、CLIP、DINO などの基盤モデルは、ここ数年で革命的な進歩を遂げており、汎用 AI の有望なアプローチであると一般に考えられています。
特に、大量のラベルなしデータを使用して基礎モデルを事前トレーニングするために、自己教師あり学習が採用されています。
事前トレーニングされた基盤モデルは、AI エコシステムの「オペレーティング システム」のようなものです。
具体的には、基礎モデルは、ラベル付きトレーニング データがほとんどまたはまったくない多くの下流タスクの特徴抽出器として使用できます。
基盤モデルに関する既存の研究は、主に、非敵対的設定における下流タスクのパフォーマンスを向上させるために、より優れた基盤モデルを事前トレーニングすることに焦点を当てており、敵対的設定におけるセキュリティとプライバシーはほとんど調査されていません。
事前トレーニングされた基盤モデルのセキュリティまたはプライバシーの問題は、AI エコシステムの単一障害点につながります。
この本の章では、事前トレーニングされた基盤モデルに関する 10 の基本的なセキュリティとプライバシーの問題について説明します。これには、6 つの機密性の問題、3 つの整合性の問題、および 1 つの可用性の問題が含まれます。
問題ごとに、潜在的な機会と課題について話し合います。
私たちの本の章が、基礎モデルのセキュリティとプライバシーに関する将来の研究にインスピレーションを与えることを願っています。

要約(オリジナル)

Foundation models–such as GPT, CLIP, and DINO–have achieved revolutionary progress in the past several years and are commonly believed to be a promising approach for general-purpose AI. In particular, self-supervised learning is adopted to pre-train a foundation model using a large amount of unlabeled data. A pre-trained foundation model is like an “operating system” of the AI ecosystem. Specifically, a foundation model can be used as a feature extractor for many downstream tasks with little or no labeled training data. Existing studies on foundation models mainly focused on pre-training a better foundation model to improve its performance on downstream tasks in non-adversarial settings, leaving its security and privacy in adversarial settings largely unexplored. A security or privacy issue of a pre-trained foundation model leads to a single point of failure for the AI ecosystem. In this book chapter, we discuss 10 basic security and privacy problems for the pre-trained foundation models, including six confidentiality problems, three integrity problems, and one availability problem. For each problem, we discuss potential opportunities and challenges. We hope our book chapter will inspire future research on the security and privacy of foundation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google