AI Model Disgorgement: Methods and Choices

要約

タイトル：AIモデルの除去：方法と選択肢
要約：
– 機械学習（ML）の実装において、データの責任ある使用は不可欠である。
– ML開発者は、データセットを慎重に収集・編集し、起源を文書化する必要がある。
– また、知的財産権を尊重し、個人のプライバシーを保護し、道徳的にデータを使用しなければならない。
– 近年、MLモデルは大きさと複雑さが著しく増加しており、トレーニングコーパスの欠陥をスクラッチから再トレーニングすることで簡単に修正できないほど多くのデータと計算能力が必要とされている。
– これらの問題に対処するために、「モデル disgorgement」と呼ばれる手法がある。
– この技術は、トレーニングデータの不正使用だけでなく、MLモデルの任意のコンポーネントにおける不正使用の影響も除去することができる。
– この論文では、現代のMLシステムに適用可能な disgorgement 方法の分類法を紹介している。
– 特に、スクラッチから再トレーニングすることなく、トレーニング済みモデル内でデータの「効果」を除去する方法に焦点を当てている。

要約(オリジナル)

Responsible use of data is an indispensable part of any machine learning (ML) implementation. ML developers must carefully collect and curate their datasets, and document their provenance. They must also make sure to respect intellectual property rights, preserve individual privacy, and use data in an ethical way. Over the past few years, ML models have significantly increased in size and complexity. These models require a very large amount of data and compute capacity to train, to the extent that any defects in the training corpus cannot be trivially remedied by retraining the model from scratch. Despite sophisticated controls on training data and a significant amount of effort dedicated to ensuring that training corpora are properly composed, the sheer volume of data required for the models makes it challenging to manually inspect each datum comprising a training corpus. One potential fix for training corpus data defects is model disgorgement — the elimination of not just the improperly used data, but also the effects of improperly used data on any component of an ML model. Model disgorgement techniques can be used to address a wide range of issues, such as reducing bias or toxicity, increasing fidelity, and ensuring responsible usage of intellectual property. In this paper, we introduce a taxonomy of possible disgorgement methods that are applicable to modern ML systems. In particular, we investigate the meaning of ‘removing the effects’ of data in the trained model in a way that does not require retraining from scratch.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI