LLAMAPIE: Proactive In-Ear Conversation Assistants

要約

Lamapieを紹介します。Llamapieは、Healableデバイスを介して提供される控えめで簡潔なガイダンスを通じて、人間の会話を強化するために設計された最初のリアルタイムプロアクティブアシスタントです。
明示的なユーザーの呼び出しを必要とする従来の言語モデルとは異なり、このアシスタントはバックグラウンドで動作し、会話を中断することなくユーザーのニーズを予測します。
いつ応答するかを決定する、会話を強化する簡潔な応答の作成、コンテキスト対応支援のためのユーザーの知識を活用する、リアルタイムのデバイス処理など、いくつかの課題に対処します。
これを達成するために、半合成ダイアログデータセットを構築し、2モデルパイプラインを提案します。応答するタイミングを決定する小さなモデルと、応答を生成するより大きなモデル。
現実世界のデータセットでのアプローチを評価し、有益で目立たない支援を提供する上でのその有効性を示しています。
Apple Silicon M2ハードウェアに実装されたアシスタントを使用したユーザー調査は、支援なしとリアクティブモデルの両方で、プロアクティブなアシスタントを強く好み、Lamapieがライブ会話を強化する可能性を強調しています。

要約(オリジナル)

We introduce LlamaPIE, the first real-time proactive assistant designed to enhance human conversations through discreet, concise guidance delivered via hearable devices. Unlike traditional language models that require explicit user invocation, this assistant operates in the background, anticipating user needs without interrupting conversations. We address several challenges, including determining when to respond, crafting concise responses that enhance conversations, leveraging knowledge of the user for context-aware assistance, and real-time, on-device processing. To achieve this, we construct a semi-synthetic dialogue dataset and propose a two-model pipeline: a small model that decides when to respond and a larger model that generates the response. We evaluate our approach on real-world datasets, demonstrating its effectiveness in providing helpful, unobtrusive assistance. User studies with our assistant, implemented on Apple Silicon M2 hardware, show a strong preference for the proactive assistant over both a baseline with no assistance and a reactive model, highlighting the potential of LlamaPie to enhance live conversations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google