Safety vs. Performance: How Multi-Objective Learning Reduces Barriers to Market Entry

要約

大規模言語モデルやその他の大規模機械学習 (ML) モデルの新興市場は市場の集中を示しているようであり、そのような市場への参入に乗り越えられない障壁があるのではないかという懸念が生じています。
この研究では、参入障壁を減らす現象に焦点を当て、経済的観点とアルゴリズム的観点の両方からこの問題を研究します。
具体的には、既存の企業は、そのモデルが安全目標と十分に整合していなければ風評被害にさらされるリスクがありますが、新興企業は風評被害をより容易に回避できます。
この問題を正式に研究するために、風評被害を捉える多目的高次元回帰フレームワークを定義し、新規企業が市場に参入するために必要なデータ ポイントの数を特徴付けます。
私たちの結果は、複数の目的を考慮することで参入障壁を根本的に軽減できること、つまり必要なデータ ポイントの数が既存の企業のデータセット サイズよりも大幅に小さくなる可能性があることを示しています。
これらの結果を証明する途中で、多目的環境における高次元線形回帰のスケーリング則を開発し、データセットのサイズが大きいとスケーリング速度が遅くなることを示しましたが、これは独立して興味深い可能性があります。

要約(オリジナル)

Emerging marketplaces for large language models and other large-scale machine learning (ML) models appear to exhibit market concentration, which has raised concerns about whether there are insurmountable barriers to entry in such markets. In this work, we study this issue from both an economic and an algorithmic point of view, focusing on a phenomenon that reduces barriers to entry. Specifically, an incumbent company risks reputational damage unless its model is sufficiently aligned with safety objectives, whereas a new company can more easily avoid reputational damage. To study this issue formally, we define a multi-objective high-dimensional regression framework that captures reputational damage, and we characterize the number of data points that a new company needs to enter the market. Our results demonstrate how multi-objective considerations can fundamentally reduce barriers to entry — the required number of data points can be significantly smaller than the incumbent company’s dataset size. En route to proving these results, we develop scaling laws for high-dimensional linear regression in multi-objective environments, showing that the scaling rate becomes slower when the dataset size is large, which could be of independent interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google