GLM-Dialog: Noise-tolerant Pre-training for Knowledge-grounded Dialogue Generation

要約

インターネットの知識にアクセスする検索エンジンを使用して中国語で知識に基づいた会話ができる 10B パラメーターを持つ大規模言語モデル (LLM) である GLM ダイアログを提示します。
GLM-Dialog は、有用な知識とノイズの多い知識の両方を含むさまざまな外部知識を活用するための一連の適用可能な手法を提供し、限られた適切なデータセットを使用して、知識に基づいた堅牢な対話 LLM を作成できるようにします。
GLM-Dialog をより公平に評価するために、人間が複数のデプロイされたボットと同時に会話し、多次元メトリックを使用して明示的に評価する代わりに、それらのパフォーマンスを暗黙的に比較できるようにする新しい評価方法も提案します。自動から人間の視点までの包括的な評価は、
GLM-Dialog は、既存のオープン ソースの中国語対話モデルと比較しています。
モデル チェックポイントとソース コードの両方をリリースし、ユーザーと対話する WeChat アプリケーションとして展開します。
オープンソースモデルと信頼性の高い対話評価システムの開発を促進するために、評価プラットフォームをオンラインで提供しています。
さまざまなアプリケーションを有効にするために、短いテキスト エンティティのリンク、クエリの生成、および役立つ知識の分類で構成される追加の使いやすいツールキットもリリースされています。
すべてのソースコードは Github で入手できます。

要約(オリジナル)

We present GLM-Dialog, a large-scale language model (LLM) with 10B parameters capable of knowledge-grounded conversation in Chinese using a search engine to access the Internet knowledge. GLM-Dialog offers a series of applicable techniques for exploiting various external knowledge including both helpful and noisy knowledge, enabling the creation of robust knowledge-grounded dialogue LLMs with limited proper datasets. To evaluate the GLM-Dialog more fairly, we also propose a novel evaluation method to allow humans to converse with multiple deployed bots simultaneously and compare their performance implicitly instead of explicitly rating using multidimensional metrics.Comprehensive evaluations from automatic to human perspective demonstrate the advantages of GLM-Dialog comparing with existing open source Chinese dialogue models. We release both the model checkpoint and source code, and also deploy it as a WeChat application to interact with users. We offer our evaluation platform online in an effort to prompt the development of open source models and reliable dialogue evaluation systems. The additional easy-to-use toolkit that consists of short text entity linking, query generation, and helpful knowledge classification is also released to enable diverse applications. All the source code is available on Github.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google