CoGenesis: A Framework Collaborating Large and Small Language Models for Secure Context-Aware Instruction Following

要約

言語モデル (LM) の進歩に伴い、プライベート データへの露出がますます避けられなくなり、PC やスマートフォンなどの個人用デバイス上での展開 (特に小規模な言語モデル) が一般的な傾向になっています。
ユーザー情報が満載のコンテキストでは、ユーザーのプライバシーを保護し、コマンドを効率的に実行できるモデルを有効にすることが、研究の必須事項として浮上しています。
このペーパーでは、プライバシーの問題に論理的に対処するために、大規模モデル (クラウド インフラストラクチャ上でホストされる) と小規模モデル (ローカル デバイス上に展開される) を統合する協調生成フレームワークである CoGenesis を提案します。
最初に、この研究課題のテストベッドとして、広範なコンテキストの詳細を強化したパーソナライズされたライティング指導データセットを作成するパイプラインを設計します。
続いて、スケッチとロジットに基づいた CoGenesis の 2 つのバリアントをそれぞれ紹介します。
私たちの合成データセットと 2 つの追加のオープンソース データセットに基づく実験結果は、次のことを示しています。 1) 大規模モデルは、ユーザー コンテキストが提供されている場合は良好に機能しますが、そのようなコンテキストが存在しない場合は困難です。
2) 合成データセットに基づいて微調整された特殊な小型モデルは有望ですが、依然として大規模なモデルに比べて遅れています。
3) 混合スケールモデルを利用した当社の CoGenesis フレームワークは、競争力のあるパフォーマンスを示し、プライバシー問題に対する実現可能なソリューションを提供します。

要約(オリジナル)

With the advancement of language models (LMs), their exposure to private data is increasingly inevitable, and their deployment (especially for smaller ones) on personal devices, such as PCs and smartphones, has become a prevailing trend. In contexts laden with user information, enabling models to both safeguard user privacy and execute commands efficiently emerges as an essential research imperative. In this paper, we propose CoGenesis, a collaborative generation framework integrating large (hosted on cloud infrastructure) and small models (deployed on local devices) to address privacy concerns logically. Initially, we design a pipeline to create personalized writing instruction datasets enriched with extensive context details as the testbed of this research issue. Subsequently, we introduce two variants of CoGenesis based on sketch and logits respectively. Our experimental findings, based on our synthesized dataset and two additional open-source datasets, indicate that: 1) Large-scale models perform well when provided with user context but struggle in the absence of such context. 2) While specialized smaller models fine-tuned on the synthetic dataset show promise, they still lag behind their larger counterparts. 3) Our CoGenesis framework, utilizing mixed-scale models, showcases competitive performance, providing a feasible solution to privacy issues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google