Comparing Foundation Models using Data Kernels

要約

タイトル：データカーネルを用いたファウンデーションモデルの比較

要約：
– 自己教師あり学習とニューラルネットワークのスケーリングの進歩により、ファウンデーションモデルと呼ばれる大規模なモデルが作成可能になった。
– これらのモデルは、様々なタスクに簡単に適応可能である。
– 現在のファウンデーションモデルの比較方法は、様々な基準データセットにおいて集合的なメトリックでベンチマークを行うものである。
– しかし、このモデル比較方法は、メトリックの選択に強く依存しているため、適切なメトリックが明確でない場合や利用できない場合には適していない。
– 本研究では、埋め込み空間の幾何形状を用いたファウンデーションモデルの比較方法を提案する。
– 本手法は、ランダムグラフ理論に基づいており、点ごとの比較だけでなく、複数モデルの比較も容易にできる。
– さらに、本フレームワークを用いて、複数のダウンストリームメトリックに強く相関する距離関数を備えたモデルの多様体を導出することができる。

要約(オリジナル)

Recent advances in self-supervised learning and neural network scaling have enabled the creation of large models — known as foundation models — which can be easily adapted to a wide range of downstream tasks. The current paradigm for comparing foundation models involves benchmarking them with aggregate metrics on various curated datasets. Unfortunately, this method of model comparison is heavily dependent on the choice of metric, which makes it unsuitable for situations where the ideal metric is either not obvious or unavailable. In this work, we present a metric-free methodology for comparing foundation models via their embedding space geometry. Our methodology is grounded in random graph theory, and facilitates both pointwise and multi-model comparison. Further, we demonstrate how our framework can be used to induce a manifold of models equipped with a distance function that correlates strongly with several downstream metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI