On Stronger Computational Separations Between Multimodal and Unimodal Machine Learning

要約

最近、マルチモーダル機械学習は実証的に大きな成功を収めています (GPT-4 など)。
この経験的成功の理論的正当化を開発することに動機付けられた Lu (NeurIPS ’23、ALT ’24) は、マルチモーダル学習の理論を導入し、マルチモーダル学習とユニモーダル学習の理論モデル間の \textit{分離} の可能性を検討しています。
特に、Lu (ALT ’24) は、学習タスクの \textit{最悪の場合} インスタンスに関連する計算上の分離を示しています。
この論文では、より強力な \textit{average-case} 計算分離を提供します。学習タスクの「典型的な」インスタンスでは、単峰性学習は計算的に困難ですが、多峰性学習は容易です。
次に、平均ケースの分離がどれほど「自然」であるかを疑問に思います。
実際に遭遇することはあるでしょうか？
この目的を達成するために、基本的な条件下では、平均的な単峰性学習タスクと多峰性学習タスク間の任意の計算上の分離が、対応する暗号鍵合意プロトコルを意味することを証明します。
これを、マルチモーダル学習の \textit{計算} 上の非常に強力な利点が、本質的に暗号化された分布の「病理学的」な場合にのみ存在するため、実際には \textit{めったにない} 可能性があるという証拠として解釈することをお勧めします。
ただし、これは、考えられる (超多項式) \textit{統計} の利点には当てはまりません。

要約(オリジナル)

Recently, multimodal machine learning has enjoyed huge empirical success (e.g. GPT-4). Motivated to develop theoretical justification for this empirical success, Lu (NeurIPS ’23, ALT ’24) introduces a theory of multimodal learning, and considers possible \textit{separations} between theoretical models of multimodal and unimodal learning. In particular, Lu (ALT ’24) shows a computational separation, which is relevant to \textit{worst-case} instances of the learning task. In this paper, we give a stronger \textit{average-case} computational separation, where for “typical” instances of the learning task, unimodal learning is computationally hard, but multimodal learning is easy. We then question how “natural” the average-case separation is. Would it be encountered in practice? To this end, we prove that under basic conditions, any given computational separation between average-case unimodal and multimodal learning tasks implies a corresponding cryptographic key agreement protocol. We suggest to interpret this as evidence that very strong \textit{computational} advantages of multimodal learning may arise \textit{infrequently} in practice, since they exist only for the “pathological” case of inherently cryptographic distributions. However, this does not apply to possible (super-polynomial) \textit{statistical} advantages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google