How Effective are Generative Large Language Models in Performing Requirements Classification?

要約

近年、トランスベースの大手言語モデル（LLMS）が自然言語処理（NLP）に革命をもたらし、生成モデルがコンテキスト認識テキスト生成を必要とするタスクの新しい可能性を開きます。
要件エンジニアリング（RE）では、Trace-Linkの検出、調節コンプライアンスなど、さまざまなタスクのLLMSの実験が急増しています。
要件分類は、REの一般的なタスクです。
Bertのような非生成LLMはこのタスクに正常に適用されていますが、生成LLMの調査は限られています。
このギャップは重要な疑問を提起します。コンテキストを認識した出力を生成する生成LLMは、要件分類で実行できますか？
この研究では、バイナリとマルチクラスの両方の要件分類を実行する3つの生成LLMS-Bloom、Gemma、およびLlama-inの有効性を調査します。
広く使用されている3つのデータセット（Promise NFR、機能品質、およびSecreq）にわたる400を超える実験を含む広範な実験研究を設計します。
私たちの研究では、迅速な設計やLLMアーキテクチャなどの要因は普遍的に重要であるが、データセットのバリエーションは分類タスクの複雑さに応じて、より状況の影響を与えるなど、他の要因であると結論付けています。
この洞察は、将来のモデル開発と展開戦略を導き、迅速な構造の最適化と、パフォーマンスを改善するためのタスク固有のニーズを備えたモデルアーキテクチャを調整することに焦点を当てることができます。

要約(オリジナル)

In recent years, transformer-based large language models (LLMs) have revolutionised natural language processing (NLP), with generative models opening new possibilities for tasks that require context-aware text generation. Requirements engineering (RE) has also seen a surge in the experimentation of LLMs for different tasks, including trace-link detection, regulatory compliance, and others. Requirements classification is a common task in RE. While non-generative LLMs like BERT have been successfully applied to this task, there has been limited exploration of generative LLMs. This gap raises an important question: how well can generative LLMs, which produce context-aware outputs, perform in requirements classification? In this study, we explore the effectiveness of three generative LLMs-Bloom, Gemma, and Llama-in performing both binary and multi-class requirements classification. We design an extensive experimental study involving over 400 experiments across three widely used datasets (PROMISE NFR, Functional-Quality, and SecReq). Our study concludes that while factors like prompt design and LLM architecture are universally important, others-such as dataset variations-have a more situational impact, depending on the complexity of the classification task. This insight can guide future model development and deployment strategies, focusing on optimising prompt structures and aligning model architectures with task-specific needs for improved performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google