Improving Ontology Requirements Engineering with OntoChat and Participatory Prompting

要約

これまでのオントロジー要件エンジニアリング (ORE) は、特に大規模なプロジェクトにおいて、主にインタビューや共同フォーラムなどの手動手法に依存して、ドメインの専門家からユーザー要件を収集していました。
現在の OntoChat は、大規模言語モデル (LLM) を利用して 4 つの主要な機能 (ユーザー ストーリーの作成、コンピテンシーの質問 (CQ) 抽出、CQ のフィルタリングと分析、オントロジー テストのサポート) を通じてプロセスを合理化する ORE のフレームワークを提供します。
OntoChat では、ユーザーはチャットボットにユーザー ストーリーを生成するよう促すことが期待されます。
しかし、事前評価では、これを効果的に行うのに苦労していることが明らかになりました。
この問題に対処するために、私たちは参加型プロンプティングと呼ばれる研究方法を実験しました。これは、LLM に関する深い知識を持たないユーザーがチャットボットをより効果的に使用できるように、研究者を介した対話を伴います。
この参加型プロンプト ユーザー調査では、ユーザー クエリに基づいて事前定義されたプロンプト テンプレートが作成され、ペルソナ、目標、シナリオ、サンプル データ、およびユーザー ストーリーのデータ リソースの作成と調整に重点が置かれています。
これらの洗練されたユーザー ストーリーは、その後 CQ に変換されます。

要約(オリジナル)

Past ontology requirements engineering (ORE) has primarily relied on manual methods, such as interviews and collaborative forums, to gather user requirements from domain experts, especially in large projects. Current OntoChat offers a framework for ORE that utilises large language models (LLMs) to streamline the process through four key functions: user story creation, competency question (CQ) extraction, CQ filtration and analysis, and ontology testing support. In OntoChat, users are expected to prompt the chatbot to generate user stories. However, preliminary evaluations revealed that they struggle to do this effectively. To address this issue, we experimented with a research method called participatory prompting, which involves researcher-mediated interactions to help users without deep knowledge of LLMs use the chatbot more effectively. This participatory prompting user study produces pre-defined prompt templates based on user queries, focusing on creating and refining personas, goals, scenarios, sample data, and data resources for user stories. These refined user stories will subsequently be converted into CQs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google