ChaI-TeA: A Benchmark for Evaluating Autocompletion of Interactions with LLM-based Chatbots

要約

LLM の台頭により、人間とコンピューターのやり取りの一部が LLM ベースのチャットボットにそらされるようになりました。
これらのモデルの優れた能力により、ユーザーは幅広いトピックやスタイルをカバーする長く多様な自然言語テキストを使用して対話することができます。
これらのメッセージを表現するのは時間と労力がかかる作業であり、ユーザーを支援するオートコンプリート ソリューションが必要です。
チャットボット インタラクション オートコンプリートのタスクを紹介します。
ChaI-TeA: CHat InTEraction Autocomplete を紹介します。
LLM ベースのチャットボット インタラクションのためのオートコンプリート評価フレームワーク。
フレームワークには、適切なデータセットとメトリクスを組み合わせた、タスクの正式な定義が含まれています。
フレームワークを使用して評価します。適切なデータセットとメトリクスとともにタスクを正式に定義した後、定義された自動完了タスクで 9 つのモデルをテストし、現在の既製のモデルはかなりのパフォーマンスを発揮しますが、まだ改善の余地があることがわかりました。
主に、生成された提案のランキングです。
私たちは、この課題に取り組んでいる実務者に洞察を提供し、この分野の研究者に新しい研究の方向性を開きます。
将来の研究の基盤として機能するフレームワークを公開します。

要約(オリジナル)

The rise of LLMs has deflected a growing portion of human-computer interactions towards LLM-based chatbots. The remarkable abilities of these models allow users to interact using long, diverse natural language text covering a wide range of topics and styles. Phrasing these messages is a time and effort consuming task, calling for an autocomplete solution to assist users. We introduce the task of chatbot interaction autocomplete. We present ChaI-TeA: CHat InTEraction Autocomplete; An autcomplete evaluation framework for LLM-based chatbot interactions. The framework includes a formal definition of the task, coupled with suitable datasets and metrics. We use the framework to evaluate After formally defining the task along with suitable datasets and metrics, we test 9 models on the defined auto completion task, finding that while current off-the-shelf models perform fairly, there is still much room for improvement, mainly in ranking of the generated suggestions. We provide insights for practitioners working on this task and open new research directions for researchers in the field. We release our framework to serve as a foundation for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google