Who Taught You That? Tracing Teachers in Model Distillation

要約

モデルの蒸留 – 大規模な教師モデルからの出力を使用して小さな学生モデルを教える – は、特定のタスクの効率的なモデルを作成する実用的な手段です。
私たちは尋ねます：生徒の出力に基づいて生徒の教師を特定できますか？
このような「フットプリント」は、教師LLMSによって残されたものです。
これを超えて、信頼できる教師の推論は、俳優が大規模な独自のLLMの特定の能力を展開して展開されたより小さなLMSに蒸留し、潜在的に条件に違反するため、実際的な意味を持つ可能性があります。
要約、質問への回答、指導のフォローを含む実用的なタスク蒸留目標を検討します。
ブラックボックスとして扱う候補者モデルの有限セットを想定しています。
語彙的特徴を操作する識別モデルを設計します。
$ n $ -GRAMの類似性だけでは、教師を識別するために信頼できないが、学生モデルが教師のモデルを模倣するもので好まれる一部のスピーチ（POS）テンプレート。

要約(オリジナル)

Model distillation — using outputs from a large teacher model to teach a small student model — is a practical means of creating efficient models for a particular task. We ask: Can we identify a students’ teacher based on its outputs? Such ‘footprints’ left by teacher LLMs would be interesting artifacts. Beyond this, reliable teacher inference may have practical implications as actors seek to distill specific capabilities of massive proprietary LLMs into deployed smaller LMs, potentially violating terms of service. We consider practical task distillation targets including summarization, question answering, and instruction-following. We assume a finite set of candidate teacher models, which we treat as blackboxes. We design discriminative models that operate over lexical features. We find that $n$-gram similarity alone is unreliable for identifying teachers, but part-of-speech (PoS) templates preferred by student models mimic those of their teachers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google