SafeChat: A Framework for Building Trustworthy Collaborative Assistants and a Case Study of its Usefulness

要約

共同アシスタント、またはチャットボットは、タスクの完了のために自然な相互作用を可能にするデータ駆動型の意思決定支援システムです。
彼らは現代社会で重要なニーズを満たすことができますが、彼らの信頼性と信頼性に関する懸念は持続します。
特に、ChatGpt、Gemini、DeepSeekなどの大規模な言語モデル（LLM）ベースのチャットボットがよりアクセスしやすくなっています。
ただし、このようなチャットボットには、応答生成を説明できないこと、問題のあるコンテンツを生成するリスク、信頼性の標準化されたテストの欠如、深いAIの専門知識と開発時間の延長の必要性など、制限があります。
これらの問題により、チャットボットは、選挙やヘルスケアなどの信頼に敏感なアプリケーションに適していません。
これらの懸念に対処するために、情報検索のユースケースに焦点を当てて、安全で信頼できるチャットボットを構築するための一般的なアーキテクチャであるSafeChatを紹介します。
SafeChatの主要な機能には、（a）承認されたソース（出所）に対して応答が根拠があり、追跡可能なドメインに依存しない設計を備えた安全性、および有害な回答を防ぐための「do-not-respond」戦略を含みます。
（b）長い応答の自動抽出的な要約、ソースに追跡可能、およびセンチメントなどの予想されるチャットボットの動作を伝えるための自動化された信頼評価を伴う使いやすさ。
（c）CSV駆動型ワークフロー、自動テスト、さまざまなデバイスとの統合など、高速でスケーラブルな開発。
オープンソースのチャットボットプラットフォームRASAを使用して、実行可能ファームワークにSafeChatを実装しました。
ケーススタディでは、公式の選挙情報を安全に普及させるように設計されたチャットボットである選挙ボットSCの構築における適用を実証しています。
SafeChatは多くのドメインで使用され、その可能性を検証し、https：//github.com/ai4society/trustworthy-chatbotで入手できます。

要約(オリジナル)

Collaborative assistants, or chatbots, are data-driven decision support systems that enable natural interaction for task completion. While they can meet critical needs in modern society, concerns about their reliability and trustworthiness persist. In particular, Large Language Model (LLM)-based chatbots like ChatGPT, Gemini, and DeepSeek are becoming more accessible. However, such chatbots have limitations, including their inability to explain response generation, the risk of generating problematic content, the lack of standardized testing for reliability, and the need for deep AI expertise and extended development times. These issues make chatbots unsuitable for trust-sensitive applications like elections or healthcare. To address these concerns, we introduce SafeChat, a general architecture for building safe and trustworthy chatbots, with a focus on information retrieval use cases. Key features of SafeChat include: (a) safety, with a domain-agnostic design where responses are grounded and traceable to approved sources (provenance), and ‘do-not-respond’ strategies to prevent harmful answers; (b) usability, with automatic extractive summarization of long responses, traceable to their sources, and automated trust assessments to communicate expected chatbot behavior, such as sentiment; and (c) fast, scalable development, including a CSV-driven workflow, automated testing, and integration with various devices. We implemented SafeChat in an executable framework using the open-source chatbot platform Rasa. A case study demonstrates its application in building ElectionBot-SC, a chatbot designed to safely disseminate official election information. SafeChat is being used in many domains, validating its potential, and is available at: https://github.com/ai4society/trustworthy-chatbot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google