LLM Cascade with Multi-Objective Optimal Consideration

要約

大規模言語モデル (LLM) は、自然言語の理解と生成において優れた機能を実証しています。
ただし、導入コストが高いため、特に実用化には障壁となることがよくあります。
カスケード ローカル モデルとサーバー モデルは、この課題に対する有望なソリューションを提供します。
LLM カスケードに関する既存の研究は主にパフォーマンスとコストのトレードオフに焦点を当ててきましたが、実際のシナリオではより複雑な要件が含まれることがよくあります。
このペーパーでは、多目的最適化を備えた新しい LLM カスケード戦略を紹介します。これにより、LLM カスケードは、元のカスケード機能を維持しながら、追加の目的 (プライバシーなど) を考慮し、現実世界のアプリケーションの特定の要求によりよく適合できるようになります。
3 つのベンチマークに関する広範な実験により、私たちのアプローチの有効性と優位性が検証されています。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated exceptional capabilities in understanding and generating natural language. However, their high deployment costs often pose a barrier to practical applications, especially. Cascading local and server models offers a promising solution to this challenge. While existing studies on LLM cascades have primarily focused on the performance-cost trade-off, real-world scenarios often involve more complex requirements. This paper introduces a novel LLM Cascade strategy with Multi-Objective Optimization, enabling LLM cascades to consider additional objectives (e.g., privacy) and better align with the specific demands of real-world applications while maintaining their original cascading abilities. Extensive experiments on three benchmarks validate the effectiveness and superiority of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google