AnyTaskTune: Advanced Domain-Specific Solutions through Task-Fine-Tuning

要約

さまざまな分野で大規模言語モデル (LLM) が広く導入されると、個人や小規模組織の微妙な要件が無視されることがよくあります。個人や小規模組織は、広く優れた一般的な機能を備えたモデルよりも、特定のビジネス コンテキストに合わせて正確に調整されたモデルのほうがメリットが得られます。
この作業では、\textbf{AnyTaskTune} を導入します。これは、\textbf{Task-Fine-Tune} という造語で造られた新しい微調整手法であり、ドメイン固有のさまざまなタスクでモデルのパフォーマンスを向上させるために特別に開発されました。
この方法には、ドメイン内で対象となるサブタスクを特定して定義する細心のプロセスが含まれ、その後、微調整用に特化した拡張データセットを作成することで、タスク固有のモデルのパフォーマンスを最適化します。
私たちは、キーワード抽出や文章予測などの法律分野のタスクだけでなく、金融、医療、法律、心理学、消費者サービス、人事の分野から派生した 20 以上の異なるサブタスクにわたって包括的な微調整実験を実施しました。
私たちのアプローチを実証し、コミュニティへの参加を促進するために、これらのバイリンガル タスク データセットをオープンソース化します。
私たちの調査結果は、\textbf{Task-Fine-Tune} 方法論を使用して微調整されたモデルが、これらの特定のタスクで優れたパフォーマンスを達成するだけでなく、それぞれのドメインでより高い一般的な機能を持つモデルよりも大幅に優れたパフォーマンスを発揮することを示しています。
私たちの成果は \url{https://github.com/PandaVT/DataTager} で公開されています。

要約(オリジナル)

The pervasive deployment of Large Language Models-LLMs in various sectors often neglects the nuanced requirements of individuals and small organizations, who benefit more from models precisely tailored to their specific business contexts rather than those with broadly superior general capabilities. This work introduces \textbf{AnyTaskTune}, a novel fine-tuning methodology coined as \textbf{Task-Fine-Tune}, specifically developed to elevate model performance on a diverse array of domain-specific tasks. This method involves a meticulous process to identify and define targeted sub-tasks within a domain, followed by the creation of specialized enhancement datasets for fine-tuning, thereby optimizing task-specific model performance. We conducted comprehensive fine-tuning experiments not only in the legal domain for tasks such as keyword extraction and sentence prediction but across over twenty different sub-tasks derived from the domains of finance, healthcare, law, psychology, consumer services, and human resources. To substantiate our approach and facilitate community engagement, we will open-source these bilingual task datasets. Our findings demonstrate that models fine-tuned using the \textbf{Task-Fine-Tune} methodology not only achieve superior performance on these specific tasks but also significantly outperform models with higher general capabilities in their respective domains. Our work is publicly available at \url{https://github.com/PandaVT/DataTager}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google