Lemur: Harmonizing Natural Language and Code for Language Agents

要約

私たちは、自然言語とコーディング機能の両方に最適化され、汎用性の高い言語エージェントのバックボーンとして機能する、オープンにアクセス可能な言語モデルである Lemur および Lemur-Chat を紹介します。
言語チャット モデルから機能的言語エージェントへの進化では、モデルが人間の対話、推論、計画を習得するだけでなく、関連する環境での基礎を確実に確立することが求められます。
これには、モデル内の言語とコーディング機能の調和のとれたブレンドが必要です。
Lemur と Lemur-Chat は、この必要性に対処するために提案されており、どちらかに特化する傾向がある既存のオープンソース モデルとは異なり、両方のドメインでバランスのとれた熟練度を示しています。
コード集約型のコーパスを使用した綿密な事前トレーニングと、テキストとコード データの命令の微調整を通じて、当社のモデルは、オープンソース モデルのさまざまなテキストとコーディングのベンチマークにわたって、最先端の平均パフォーマンスを実現します。
包括的な実験により、既存のオープンソース モデルに対するキツネザルの優位性と、完全および部分的に観察可能な環境下での人間のコミュニケーション、ツールの使用、および相互作用を含むさまざまなエージェント タスクにわたるその熟練度が実証されています。
自然言語とプログラミング言語の調和により、Lemur-Chat はエージェントの能力に関する独自モデルとのギャップを大幅に縮めることができ、推論、計画、環境全体でシームレスに動作する高度なオープンソース エージェントの開発に重要な洞察を提供します。
https://github.com/OpenLemur/Lemur

要約(オリジナル)

We introduce Lemur and Lemur-Chat, openly accessible language models optimized for both natural language and coding capabilities to serve as the backbone of versatile language agents. The evolution from language chat models to functional language agents demands that models not only master human interaction, reasoning, and planning but also ensure grounding in the relevant environments. This calls for a harmonious blend of language and coding capabilities in the models. Lemur and Lemur-Chat are proposed to address this necessity, demonstrating balanced proficiencies in both domains, unlike existing open-source models that tend to specialize in either. Through meticulous pre-training using a code-intensive corpus and instruction fine-tuning on text and code data, our models achieve state-of-the-art averaged performance across diverse text and coding benchmarks among open-source models. Comprehensive experiments demonstrate Lemur’s superiority over existing open-source models and its proficiency across various agent tasks involving human communication, tool usage, and interaction under fully- and partially- observable environments. The harmonization between natural and programming languages enables Lemur-Chat to significantly narrow the gap with proprietary models on agent abilities, providing key insights into developing advanced open-source agents adept at reasoning, planning, and operating seamlessly across environments. https://github.com/OpenLemur/Lemur

arxiv情報

提供元, 利用サービス

arxiv.jp, Google