We Should Chart an Atlas of All the World’s Models

要約

公開モデルリポジトリには、現在数百万ものモデルが含まれていますが、ほとんどのモデルは文書化されておらず、事実上失われたままです。このポジションペーパーでは、モデルアトラスと呼ぶ統一された構造で、世界のモデル集団を図にすることを提唱します。モデルアトラスは、モデルフォレンジック、メタML研究、モデル発見への応用を可能にします。しかし、ほとんどのモデルにはドキュメントがないため、アトラスの大きな領域は未知のままです。このギャップに対処するために、モデルそのものをデータとして扱い、その重みから機能性、性能、系統などの特性を直接推測する新しい機械学習手法が動機づけられている。我々は、スケーラブルな前進の道は、モデルの重みを悩ませる独特のパラメータ対称性を回避することであると主張する。世界中のモデルをチャート化するには、コミュニティの努力が必要である。

要約(オリジナル)

Public model repositories now contain millions of models, yet most models remain undocumented and effectively lost. In this position paper, we advocate for charting the world’s model population in a unified structure we call the Model Atlas: a graph that captures models, their attributes, and the weight transformations that connect them. The Model Atlas enables applications in model forensics, meta-ML research, and model discovery, challenging tasks given today’s unstructured model repositories. However, because most models lack documentation, large atlas regions remain uncharted. Addressing this gap motivates new machine learning methods that treat models themselves as data, inferring properties such as functionality, performance, and lineage directly from their weights. We argue that a scalable path forward is to bypass the unique parameter symmetries that plague model weights. Charting all the world’s models will require a community effort, and we hope its broad utility will rally researchers toward this goal.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL