On the Origin of Llamas: Model Tree Heritage Recovery

要約

インターネット上で共有されるニューラル ネットワーク モデルの急速な成長により、モデルの重み付けが重要なデータ モダリティになりました。
ただし、重みが解釈できず、公開されているモデルが整理されていないため、この情報は十分に活用されていません。
ダーウィンの生命の木にインスピレーションを得て、モデルの起源、つまりターゲット モデルを微調整するために使用された親モデルを記述するモデル ツリーを定義します。
自然界と同様に、木の構造は不明です。
このペーパーでは、成長を続けるニューラル ネットワークの世界でモデル ツリーを発見するためのモデル ツリー ヘリテージ リカバリ (MoTHEr Recovery) のタスクを紹介します。
私たちの仮説は、モデルの重みがこの情報をエンコードしているというもので、課題は重みを与えられた基礎となるツリー構造をデコードすることです。
MoTHEr リカバリは、モデルの著者の帰属を即時に適用するだけでなく、検索エンジンによるインターネットのインデックス作成に似た刺激的な長期的なアプリケーションを保持します。
実際には、このタスクではモデルのペアごとに、i) それらが関連しているかどうかを判断し、ii) 関係の方向を確立する必要があります。
重みの特定の分布特性がトレーニング中に単調に進化することがわかり、これにより 2 つの与えられたモデル間の関係を分類できるようになります。
MoTHEr リカバリでは、有向ツリーで表されるモデル階層全体が再構築され、親モデルが追加のトレーニングを通じて複数の子モデルを生成します。
私たちのアプローチは、複雑なモデル ツリーだけでなく、Llama 2 や Stable Diffusion などの「実際の」モデル ファミリの構造も再構築することに成功しました。

要約(オリジナル)

The rapid growth of neural network models shared on the internet has made model weights an important data modality. However, this information is underutilized as the weights are uninterpretable, and publicly available models are disorganized. Inspired by Darwin’s tree of life, we define the Model Tree which describes the origin of models i.e., the parent model that was used to fine-tune the target model. Similarly to the natural world, the tree structure is unknown. In this paper, we introduce the task of Model Tree Heritage Recovery (MoTHer Recovery) for discovering Model Trees in the ever-growing universe of neural networks. Our hypothesis is that model weights encode this information, the challenge is to decode the underlying tree structure given the weights. Beyond the immediate application of model authorship attribution, MoTHer recovery holds exciting long-term applications akin to indexing the internet by search engines. Practically, for each pair of models, this task requires: i) determining if they are related, and ii) establishing the direction of the relationship. We find that certain distributional properties of the weights evolve monotonically during training, which enables us to classify the relationship between two given models. MoTHer recovery reconstructs entire model hierarchies, represented by a directed tree, where a parent model gives rise to multiple child models through additional training. Our approach successfully reconstructs complex Model Trees, as well as the structure of ‘in-the-wild’ model families such as Llama 2 and Stable Diffusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google