Tag-LLM: Repurposing General-Purpose LLMs for Specialized Domains

要約

大規模言語モデル (LLM) は、自然言語の理解と生成において顕著な熟練度を示しています。
ただし、物理科学や生物医学など、トレーニング前コーパスで過小評価されている高度に専門化された領域では、その能力が低下します。
この研究では、一般的な LLM を特殊なドメイン向けの効果的なタスク ソルバーに再利用する方法を検討します。
カスタム入力タグを学習するための新しいモデルに依存しないフレームワークを導入します。カスタム入力タグは、LLM を調整するために、LLM の埋め込み層に追加される連続ベクトルとしてパラメーター化されます。
私たちは 2 種類の入力タグを設計します。ドメイン タグは、特殊な表現 (化学式など) を区切るために使用され、ドメイン関連のコンテキストを提供します。
function タグは、特定の機能 (分子特性の予測など) を表現し、関数解決命令を圧縮するために使用されます。
私たちは、補助データとドメイン知識を使用してこれらのタグを学習するための 3 段階のプロトコルを開発しました。
タスクドメインをタスク関数から明示的に分離することにより、私たちの方法は、入力タグのさまざまな組み合わせを通じて、目に見えない問題に対するゼロショット一般化を可能にします。
また、タンパク質や化学的特性の予測、薬剤と標的の相互作用のモデリングなど、さまざまな特殊な領域における LLM のパフォーマンスも向上し、これらのタスクに合わせて調整されたエキスパート モデルを上回ります。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable proficiency in understanding and generating natural language. However, their capabilities wane in highly specialized domains underrepresented in the pretraining corpus, such as physical and biomedical sciences. This work explores how to repurpose general LLMs into effective task solvers for specialized domains. We introduce a novel, model-agnostic framework for learning custom input tags, which are parameterized as continuous vectors appended to the LLM’s embedding layer, to condition the LLM. We design two types of input tags: domain tags are used to delimit specialized representations (e.g., chemical formulas) and provide domain-relevant context; function tags are used to represent specific functions (e.g., predicting molecular properties) and compress function-solving instructions. We develop a three-stage protocol to learn these tags using auxiliary data and domain knowledge. By explicitly disentangling task domains from task functions, our method enables zero-shot generalization to unseen problems through diverse combinations of the input tags. It also boosts LLM’s performance in various specialized domains, such as predicting protein or chemical properties and modeling drug-target interactions, outperforming expert models tailored to these tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google