Weaver: Foundation Models for Creative Writing

要約

この作品では、コンテンツ作成専用の大規模言語モデル (LLM) の最初のファミリーである Weaver を紹介します。
Weaver は、大規模な言語モデルの記述機能の向上に重点を置いた、慎重に選択されたコーパスで事前トレーニングされています。
次に、創造的でプロフェッショナルなライティングの目的に合わせて Weaver を微調整し、指示データ合成と LLM 調整のための一連の新しい方法を使用してプロのライターの好みに合わせて調整し、より人間らしいテキストを生成し、より多様な指示に従うことができるようにします。
コンテンツ作成のため。
Weaver ファミリは、Weaver Mini (1.8B)、Weaver Base (6B)、Weaver Pro (14B)、Weaver Ultra (34B) サイズのモデルで構成されており、さまざまなアプリケーションに適しており、クエリに従ってルーティング エージェントによって動的にディスパッチできます。
応答品質と計算コストのバランスをとるための複雑さ。
LLM の書き込み機能を評価するために慎重に選ばれたベンチマークでの評価では、あらゆるサイズの Weaver モデルが、数倍規模のジェネラリスト LLM よりも優れたパフォーマンスを発揮することが示されています。
特に、当社の最も有能な Weaver Ultra モデルは、さまざまな執筆シナリオにおいて、最先端のジェネラリスト LLM である GPT-4 を上回り、執筆目的に特化した LLM をトレーニングする利点を実証しています。
さらに、Weaver は、検索拡張生成 (RAG) と関数呼び出し (ツールの使用法) をネイティブにサポートしています。
外部のナレッジ ベース、ツール、API の統合やパーソナライズされたライティング支援の提供など、AI 支援ライティング システムを改善するためのこれらの機能のさまざまな使用例を紹介します。
さらに、ドメイン固有の LLM の事前トレーニングと微調整のためのガイドラインとベスト プラクティスについて説明し、まとめます。

要約(オリジナル)

This work introduces Weaver, our first family of large language models (LLMs) dedicated to content creation. Weaver is pre-trained on a carefully selected corpus that focuses on improving the writing capabilities of large language models. We then fine-tune Weaver for creative and professional writing purposes and align it to the preference of professional writers using a suit of novel methods for instruction data synthesis and LLM alignment, making it able to produce more human-like texts and follow more diverse instructions for content creation. The Weaver family consists of models of Weaver Mini (1.8B), Weaver Base (6B), Weaver Pro (14B), and Weaver Ultra (34B) sizes, suitable for different applications and can be dynamically dispatched by a routing agent according to query complexity to balance response quality and computation cost. Evaluation on a carefully curated benchmark for assessing the writing capabilities of LLMs shows Weaver models of all sizes outperform generalist LLMs several times larger than them. Notably, our most-capable Weaver Ultra model surpasses GPT-4, a state-of-the-art generalist LLM, on various writing scenarios, demonstrating the advantage of training specialized LLMs for writing purposes. Moreover, Weaver natively supports retrieval-augmented generation (RAG) and function calling (tool usage). We present various use cases of these abilities for improving AI-assisted writing systems, including integration of external knowledge bases, tools, or APIs, and providing personalized writing assistance. Furthermore, we discuss and summarize a guideline and best practices for pre-training and fine-tuning domain-specific LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google