Assessing Personalized AI Mentoring with Large Language Models in the Computing Field

要約

このペーパーでは、性別、人種、専門レベルを考慮した 3 つの異なる学生プロフィールを使用して、コンピューティング分野における個別のキャリア指導のための 3 つの最先端の大規模言語モデル (LLM) の詳細な評価を提供します。
人間の介入を必要としないゼロショット学習アプローチを使用して、GPT-4、LLaMA 3、および Palm 2 のパフォーマンスを評価しました。
カスタムの自然言語処理分析パイプラインを通じて定量的評価が実施され、回答の一意性が強調され、人種、性別、専門レベルなどの各生徒のプロフィールを反映する単語が特定されました。
回答内で頻繁に使用される単語を分析したところ、GPT-4 は他の 2 つの LLM と比べて、より個別化されたメンタリングを提供していることがわかりました。
さらに、人間の専門家が同様の結論に達したかどうかを確認するために、定性的評価が実行されました。
調査回答の分析によると、GPT-4 は、励ましの言葉で特定の課題に対処しながら、より正確で有用なメンタリングを提供するという点で、他の 2 つの LLM よりも優れていることがわかりました。
私たちの取り組みは、LLM に基づいてパーソナライズされたメンタリング ツールを開発するための基盤を確立し、プロセスに人間のメンターを組み込んで、より効果的でカスタマイズされたメンタリング エクスペリエンスを提供します。

要約(オリジナル)

This paper provides an in-depth evaluation of three state-of-the-art Large Language Models (LLMs) for personalized career mentoring in the computing field, using three distinct student profiles that consider gender, race, and professional levels. We evaluated the performance of GPT-4, LLaMA 3, and Palm 2 using a zero-shot learning approach without human intervention. A quantitative evaluation was conducted through a custom natural language processing analytics pipeline to highlight the uniqueness of the responses and to identify words reflecting each student’s profile, including race, gender, or professional level. The analysis of frequently used words in the responses indicates that GPT-4 offers more personalized mentoring compared to the other two LLMs. Additionally, a qualitative evaluation was performed to see if human experts reached similar conclusions. The analysis of survey responses shows that GPT-4 outperformed the other two LLMs in delivering more accurate and useful mentoring while addressing specific challenges with encouragement languages. Our work establishes a foundation for developing personalized mentoring tools based on LLMs, incorporating human mentors in the process to deliver a more impactful and tailored mentoring experience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google