要約
本稿では、チェコの専門家グループであるFrank Boldが行った、法的な問い合わせに対応するためのGPT-4とユーザーとのインタラクションを探る実験の予備的分析を紹介する。2023年5月3日から2023年7月25日の間に、1,252人のユーザーが3,847件の問い合わせを行った。大規模言語モデル（LLM）の精度、事実性、幻覚傾向に主眼を置いた研究とは異なり、我々の分析は、インタラクションのユーザークエリ次元に焦点を当てている。ゼロショット分類のためにGPT-4oを使用し、(1)ユーザが問題についての事実情報を提供したか(29.95%)、提供しなかったか(70.05%)、(2)法的な情報を求めたか(64.93%)、行動方針についての助言を求めたか(35.07%)、(3)モデルの回答を形成または制御する要件を課したか(28.57%)、課さなかったか(71.43%)でクエリを分類した。我々は、ユーザーのニーズに関する定量的・定性的な洞察を提供し、LLMへのユーザーの関与に関するより良い理解に貢献する。
要約(オリジナル)
The paper presents a preliminary analysis of an experiment conducted by Frank Bold, a Czech expert group, to explore user interactions with GPT-4 for addressing legal queries. Between May 3, 2023, and July 25, 2023, 1,252 users submitted 3,847 queries. Unlike studies that primarily focus on the accuracy, factuality, or hallucination tendencies of large language models (LLMs), our analysis focuses on the user query dimension of the interaction. Using GPT-4o for zero-shot classification, we categorized queries on (1) whether users provided factual information about their issue (29.95%) or not (70.05%), (2) whether they sought legal information (64.93%) or advice on the course of action (35.07\%), and (3) whether they imposed requirements to shape or control the model’s answer (28.57%) or not (71.43%). We provide both quantitative and qualitative insight into user needs and contribute to a better understanding of user engagement with LLMs.
arxiv情報
| 著者 | Michal Kuk,Jakub Harasta |
| 発行日 | 2025-01-03 09:12:35+00:00 |
| arxivサイト | arxiv_id(pdf) |