要約
この論文では、顧客を支援するスーパーマーケット ロボット用の新しいマルチレベル LLM インターフェイスの設計と評価について説明します。
提案されたインターフェイスにより、顧客は一般的なクエリと特定のクエリの両方を通じてニーズを伝えることができます。
OpenAI の GPT のような最先端のシステムは適応性が高く、構築と展開が簡単ですが、応答時間の増加や、カスタマイズされたユースケースとコストの最適化のための基礎となるモデルの戦略的制御の制限などの課題に依然として直面しています。
より高速で効率的な会話エージェントを開発するという目標に基づいて、この文書では、特殊性とユーザーの意図に基づいてさまざまなユーザー クエリを処理するように微調整された、複数の小規模で特殊な LLM を使用することを推奨しています。
このアプローチを、人工ソーシャル エージェント アンケート (ASAQ) と被験者内実験における定性的な参加者のフィードバックを使用して、GPT-4 Turbo を活用した特殊な GPT モデルと比較します。
私たちの調査結果は、マルチ LLM チャットボット アーキテクチャが 13 の測定基準すべてにわたってベンチマークされた GPT モデルを上回り、パフォーマンス、ユーザー満足度、ユーザー エージェント パートナーシップ、自己イメージの強化という 4 つの主要領域で統計的に有意な改善が見られたことを示しています。
また、この論文では、最終的なチャットボットの応答を正しい棚番号にマッピングすることで、ロボットがそれぞれの商品に向かって順次移動できるようにすることで、スーパーマーケットのロボットのナビゲーション方法も紹介しています。その後、下位レベルのロボットの認識、制御、計画を自動化されたオブジェクトに使用できるようになります。
検索。
この取り組みにより、強力ではあるが高価で低速な単一のモデルに依存するのではなく、複数の特化された小型モデルを使用するさらなる取り組みが促進されることを願っています。
要約(オリジナル)
This paper presents the design and evaluation of a novel multi-level LLM interface for supermarket robots to assist customers. The proposed interface allows customers to convey their needs through both generic and specific queries. While state-of-the-art systems like OpenAI’s GPTs are highly adaptable and easy to build and deploy, they still face challenges such as increased response times and limitations in strategic control of the underlying model for tailored use-case and cost optimization. Driven by the goal of developing faster and more efficient conversational agents, this paper advocates for using multiple smaller, specialized LLMs fine-tuned to handle different user queries based on their specificity and user intent. We compare this approach to a specialized GPT model powered by GPT-4 Turbo, using the Artificial Social Agent Questionnaire (ASAQ) and qualitative participant feedback in a counterbalanced within-subjects experiment. Our findings show that our multi-LLM chatbot architecture outperformed the benchmarked GPT model across all 13 measured criteria, with statistically significant improvements in four key areas: performance, user satisfaction, user-agent partnership, and self-image enhancement. The paper also presents a method for supermarket robot navigation by mapping the final chatbot response to correct shelf numbers, enabling the robot to sequentially navigate towards the respective products, after which lower-level robot perception, control, and planning can be used for automated object retrieval. We hope this work encourages more efforts into using multiple, specialized smaller models instead of relying on a single powerful, but more expensive and slower model.
arxiv情報
著者 | Chandran Nandkumar,Luka Peternel |
発行日 | 2024-06-16 19:13:01+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google