要約
消費者向け製品への AI の展開は現在、いわゆる基礎モデル、つまりデジタル記録の膨大なコーパスで事前トレーニングされた大規模なニューラル ネットワークの使用に焦点を当てています。
データセットと事前トレーニング計算のスケールアップを重視することで、業界がさらに統合され、独占的(または寡占的)な行動が可能になるリスクが高まります。
市場競争の改善を目指す裁判官や規制当局は、さまざまな救済策を講じる可能性があります。
このペーパーでは、そのような救済策の 1 つとしての解散、つまり独占的な企業を小規模な企業に分割することについて検討し、特に大規模なモデルやデータセットの分割に伴う技術的な課題と機会に焦点を当てます。
私たちは、Conscious Data Contribution のフレームワークが解散中のユーザーの自律性をどのように可能にするかを示します。
私たちはシミュレーション研究を通じて、ユーザーがどのデータをどのような目的で使用したいかを指定できる機械の非学習の一種として、微調整と「壊滅的な忘却」現象が実際にどのように有益であることが証明されるかを調査します。
要約(オリジナル)
The deployment of AI in consumer products is currently focused on the use of so-called foundation models, large neural networks pre-trained on massive corpora of digital records. This emphasis on scaling up datasets and pre-training computation raises the risk of further consolidating the industry, and enabling monopolistic (or oligopolistic) behavior. Judges and regulators seeking to improve market competition may employ various remedies. This paper explores dissolution — the breaking up of a monopolistic entity into smaller firms — as one such remedy, focusing in particular on the technical challenges and opportunities involved in the breaking up of large models and datasets. We show how the framework of Conscious Data Contribution can enable user autonomy during under dissolution. Through a simulation study, we explore how fine-tuning and the phenomenon of ‘catastrophic forgetting’ could actually prove beneficial as a type of machine unlearning that allows users to specify which data they want used for what purposes.
arxiv情報
著者 | Rushabh Solanki,Elliot Creager |
発行日 | 2024-11-20 18:55:51+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google