The ADAIO System at the BEA-2023 Shared Task on Generating AI Teacher Responses in Educational Dialogues

要約

このペーパーでは、教育対話における AI 教師の応答の生成に関する教育アプリケーションの構築 (BEA) 2023 共有タスクにおける ADAIO チームのシステム エントリを紹介します。
このタスクの目的は、生徒と教師の対話内で適切な応答を生成する AI 教師としての最先端の生成モデルのパフォーマンスを評価することです。
私たちのシステムは、OpenAI GPT-3 を使用したさまざまなベースライン モデルの評価と、教師の応答生成のために OpenAI モデルを促す多様なプロンプトの設計で構成されています。
チャレンジの後、私たちのシステムは、OpenAI text-davinci-003 モデルを使用した数ショット プロンプトベースのアプローチを採用することで 2 位を獲得しました。
この結果は、AI 教師の役割における大規模言語モデル、特に OpenAI の GPT-3 の数ショット学習機能を強調しています。

要約(オリジナル)

This paper presents the ADAIO team’s system entry in the Building Educational Applications (BEA) 2023 Shared Task on Generating AI Teacher Responses in Educational Dialogues. The task aims to assess the performance of state-of-the-art generative models as AI teachers in producing suitable responses within a student-teacher dialogue. Our system comprises evaluating various baseline models using OpenAI GPT-3 and designing diverse prompts to prompt the OpenAI models for teacher response generation. After the challenge, our system achieved second place by employing a few-shot prompt-based approach with the OpenAI text-davinci-003 model. The results highlight the few-shot learning capabilities of large-language models, particularly OpenAI’s GPT-3, in the role of AI teachers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google