要約
ChatGPT データ分析などの LLM を利用したツールは、データ処理、プログラミング、統計に関する専門知識を必要とするデータ分析プログラミングという困難なタスクにユーザーが取り組むのに役立つ可能性があります。
しかし、私たちの形成的研究 (n=15) では、AI が生成した結果の検証と AI の操作 (つまり、望ましい出力を生成するように AI システムを誘導すること) における深刻な課題が明らかになりました。
これらの課題に対処するために、私たちは 2 つの対照的なアプローチを開発しました。
1 つ目 (段階的) では、タスクが完了するまで、編集可能な仮定とコードのペアを含む段階的なサブ目標に問題を分解します。一方、2 つ目 (段階的) では、問題全体を 3 つの編集可能な論理フェーズ (構造化された入力/出力の仮定、実行) に分解します。
計画とコード。
被験者内での制御された実験 (n=18) では、これらのシステムを会話ベースラインと比較しました。
ユーザーは、ベースラインと比較して、Stepwise および Phasewise システムを使用すると制御が大幅に向上し、介入、修正、検証が容易であると報告しました。
この結果は、AI 支援データ分析ツールの設計ガイドラインとトレードオフを示唆しています。
要約(オリジナル)
LLM-powered tools like ChatGPT Data Analysis, have the potential to help users tackle the challenging task of data analysis programming, which requires expertise in data processing, programming, and statistics. However, our formative study (n=15) uncovered serious challenges in verifying AI-generated results and steering the AI (i.e., guiding the AI system to produce the desired output). We developed two contrasting approaches to address these challenges. The first (Stepwise) decomposes the problem into step-by-step subgoals with pairs of editable assumptions and code until task completion, while the second (Phasewise) decomposes the entire problem into three editable, logical phases: structured input/output assumptions, execution plan, and code. A controlled, within-subjects experiment (n=18) compared these systems against a conversational baseline. Users reported significantly greater control with the Stepwise and Phasewise systems, and found intervention, correction, and verification easier, compared to the baseline. The results suggest design guidelines and trade-offs for AI-assisted data analysis tools.
arxiv情報
| 著者 | Majeed Kazemitabaar,Jack Williams,Ian Drosos,Tovi Grossman,Austin Henley,Carina Negreanu,Advait Sarkar |
| 発行日 | 2024-08-01 15:56:00+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google