Machine Learning Model Attribution Challenge

要約

Machine Learning Model Attribution Challenge (\href{https://mlmac.io}{https://mlmac.io}) の調査結果を提示します。
微調整された機械学習モデルは、明確な帰属特性を持たない他のトレーニング済みモデルから派生する場合があります。
この課題では、参加者は、モデルのテキスト出力のみを使用して、匿名で微調整された大規模言語モデル (LLM) のセットの基礎となる公開されている基本モデルを特定します。
出場者は、最も微調整されたモデルを正しく帰属させることを目指しており、微調整されたモデルの API への呼び出しが少ないソリューションを使用している出場者に有利な関係が解消されます。
最も成功したアプローチは手動でした。参加者は、モデル出力間の類似性を観察し、基本モデルの公開文書に基づいてアトリビューション ヒューリスティックを開発しました。

要約(オリジナル)

We present the findings of the Machine Learning Model Attribution Challenge (\href{https://mlmac.io}{https://mlmac.io}). Fine-tuned machine learning models may derive from other trained models without obvious attribution characteristics. In this challenge, participants identify the publicly-available base models that underlie a set of anonymous, fine-tuned large language models (LLMs) using only textual output of the models. Contestants aim to correctly attribute the most fine-tuned models, with ties broken in the favor of contestants whose solutions use fewer calls to the fine-tuned models’ API. The most successful approaches were manual, as participants observed similarities between model outputs and developed attribution heuristics based on public documentation of the base models, though several teams also submitted automated, statistical solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google