Balancing Transparency and Risk: The Security and Privacy Risks of Open-Source Machine Learning Models

要約

人工知能 (AI) の分野は、研究と産業の両方でオープンソースの機械学習モデルが広く採用されたことにより、近年目覚ましい進歩を遂げています。
膨大なデータセットでのトレーニングはリソースを大量に消費するという性質を考慮して、多くのアプリケーションはすでにトレーニング済みのモデルを選択します。
したがって、少数の主要なプレーヤーがトレーニングと大規模な事前トレーニング済みモデルの公開リリースの責任を負い、幅広いアプリケーションに重要な基盤を提供します。
ただし、これらのオープンソース モデルの採用には、見落とされがちな固有のプライバシーとセキュリティのリスクが伴います。
具体的な例を挙げると、目立たないモデルには、自動運転車に他の車両の存在を無視するよう指示するなど、特定の入力パターンによってトリガーされるとシステムの動作を操作できる隠れた機能が隠されている場合があります。
プライバシーやセキュリティへの攻撃が成功した場合の影響は、サービス中断などの比較的軽微な損害から、物理的危害や機密ユーザー データの漏洩などの非常に憂慮すべきシナリオまで、広範囲に及びます。
この研究では、オープンソース モデルの使用に関連する一般的なプライバシーとセキュリティの脅威の包括的な概要を示します。
これらの危険性についての認識を高めることで、私たちは AI システムの責任ある安全な使用を促進するよう努めています。

要約(オリジナル)

The field of artificial intelligence (AI) has experienced remarkable progress in recent years, driven by the widespread adoption of open-source machine learning models in both research and industry. Considering the resource-intensive nature of training on vast datasets, many applications opt for models that have already been trained. Hence, a small number of key players undertake the responsibility of training and publicly releasing large pre-trained models, providing a crucial foundation for a wide range of applications. However, the adoption of these open-source models carries inherent privacy and security risks that are often overlooked. To provide a concrete example, an inconspicuous model may conceal hidden functionalities that, when triggered by specific input patterns, can manipulate the behavior of the system, such as instructing self-driving cars to ignore the presence of other vehicles. The implications of successful privacy and security attacks encompass a broad spectrum, ranging from relatively minor damage like service interruptions to highly alarming scenarios, including physical harm or the exposure of sensitive user data. In this work, we present a comprehensive overview of common privacy and security threats associated with the use of open-source models. By raising awareness of these dangers, we strive to promote the responsible and secure use of AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google