Fine-Tuning Games: Bargaining and Adaptation for General-Purpose Models

要約

機械学習 (ML) と人工知能 (AI) の大きな進歩は、汎用モデルの開発とリリースという形で行われることが増えています。
これらのモデルは、他の企業や機関が特定のドメイン固有の機能を実行できるように設計されています。
このプロセスは、適応または微調整として知られるようになりました。
このペーパーでは、ジェネラリストが技術製品 (ここでは ML モデル) を特定のパフォーマンス レベルに引き上げ、1 人以上のドメイン スペシャリストがそれを特定のドメインでの使用に適応させる微調整プロセスのモデルを提供します。
どちらの企業も利益を追求しており、テクノロジーに投資するとコストが発生するため、テクノロジーを市場に投入するために収益をどのように分配するかについて交渉合意に達する必要があります。
比較的一般的なクラスのコスト関数と収益関数について、微調整ゲームが利益分配ソリューションを生み出す条件を特徴付けます。
私たちは、潜在的なドメイン特化がテクノロジーの導入に貢献するか、ただ乗りするか、あるいは遠慮するかのいずれかになることを観察しており、これらの異なる戦略を生み出す条件を提供します。
私たちは、交渉の解決策とサブゲームの完全均衡に基づく方法が、この種の相互作用における企業の戦略的行動についての洞察をどのように提供するかを示し、ある企業が別の企業よりもコストが著しく高い場合でも、利益分配が依然として発生する可能性があることを発見しました。
また、一般的な効用関数のセットに対するパレート最適交渉取り決めを特定する方法も提供します。

要約(オリジナル)

Major advances in Machine Learning (ML) and Artificial Intelligence (AI) increasingly take the form of developing and releasing general-purpose models. These models are designed to be adapted by other businesses and agencies to perform a particular, domain-specific function. This process has become known as adaptation or fine-tuning. This paper offers a model of the fine-tuning process where a Generalist brings the technological product (here an ML model) to a certain level of performance, and one or more Domain-specialist(s) adapts it for use in a particular domain. Both entities are profit-seeking and incur costs when they invest in the technology, and they must reach a bargaining agreement on how to share the revenue for the technology to reach the market. For a relatively general class of cost and revenue functions, we characterize the conditions under which the fine-tuning game yields a profit-sharing solution. We observe that any potential domain-specialization will either contribute, free-ride, or abstain in their uptake of the technology, and we provide conditions yielding these different strategies. We show how methods based on bargaining solutions and sub-game perfect equilibria provide insights into the strategic behavior of firms in these types of interactions, and we find that profit-sharing can still arise even when one firm has significantly higher costs than another. We also provide methods for identifying Pareto-optimal bargaining arrangements for a general set of utility functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google