Human interaction classifier for LLM based chatbot

要約

この研究では、人工知能ベースの環境、特に Applus+ IDIADA のインテリジェント エージェント AIDA における人間のインタラクションを分類するためのさまざまなアプローチを調査します。
主な目的は、受信したインタラクションのタイプ (会話、サービス、または文書翻訳) を正確に識別してリクエストを適切なチャネルに送り、より専門的で効率的なサービスを提供する分類子を開発することです。
LLM ベースの分類器、Titan および Cohere 埋め込みを使用した KNN、SVM、人工ニューラル ネットワークなど、さまざまなモデルが比較されます。
結果は、Cohere エンベディングを使用した SVM モデルと ANN モデルが、LLM ベースのアプローチと比較して優れた F1 スコアとより速い実行時間により、最高の全体的なパフォーマンスを達成することを示しています。
この研究では、Cohere エンベディングを使用した SVM モデルが AIDA 環境での人間のインタラクションを分類するのに最適なオプションであり、精度と計算効率の最適なバランスを提供すると結論付けています。

要約(オリジナル)

This study investigates different approaches to classify human interactions in an artificial intelligence-based environment, specifically for Applus+ IDIADA’s intelligent agent AIDA. The main objective is to develop a classifier that accurately identifies the type of interaction received (Conversation, Services, or Document Translation) to direct requests to the appropriate channel and provide a more specialized and efficient service. Various models are compared, including LLM-based classifiers, KNN using Titan and Cohere embeddings, SVM, and artificial neural networks. Results show that SVM and ANN models with Cohere embeddings achieve the best overall performance, with superior F1 scores and faster execution times compared to LLM-based approaches. The study concludes that the SVM model with Cohere embeddings is the most suitable option for classifying human interactions in the AIDA environment, offering an optimal balance between accuracy and computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google