Exploring How LLMs Capture and Represent Domain-Specific Knowledge

要約

大規模な言語モデル（LLM）が自然言語でドメイン固有のニュアンスを本質的にキャプチャするかどうかを研究します。
私たちの実験は、Prefillフェーズで生成された隠された状態を使用して、クエリを異なるドメインと区別する能力を調べることにより、LLMのドメイン感度を調査します。
モデルのクエリドメインの内部認識を示す潜在ドメイン関連の軌跡を明らかにします。
また、これらのドメイン表現の堅牢性を、迅速なスタイルとソースのバリエーションに研究します。
私たちのアプローチは、モデル選択のためにこれらの表現を活用し、入力クエリのドメイントレースに最適なLLMをマッピングします（つまり、同様のトレースで最高のパフォーマンスを持つモデル）。
私たちの調査結果は、LLMが関連ドメインのクエリを区別できること、および微調整されたモデルが常に最も正確ではないことを示しています。
以前の作業とは異なり、私たちの解釈は閉鎖的な生成タスクとオープンエンド生成タスクの両方に適用されます

要約(オリジナル)

We study whether Large Language Models (LLMs) inherently capture domain-specific nuances in natural language. Our experiments probe the domain sensitivity of LLMs by examining their ability to distinguish queries from different domains using hidden states generated during the prefill phase. We reveal latent domain-related trajectories that indicate the model’s internal recognition of query domains. We also study the robustness of these domain representations to variations in prompt styles and sources. Our approach leverages these representations for model selection, mapping the LLM that best matches the domain trace of the input query (i.e., the model with the highest performance on similar traces). Our findings show that LLMs can differentiate queries for related domains, and that the fine-tuned model is not always the most accurate. Unlike previous work, our interpretations apply to both closed and open-ended generative tasks

arxiv情報

提供元, 利用サービス

arxiv.jp, Google