Small but Significant: On the Promise of Small Language Models for Accessible AIED

要約

GPTは、AIED Proceedingsでますます人気のある用語である大規模な言語モデル（LLMS）とほぼ同義語になりました。
シンプルなキーワードベースの検索では、AIED 2024で発表された76の長い論文の61％がLLMSを使用して長年の課題のいくつかに対処し、43％がGPTに特に言及していることを説明しています。
GPTによって開拓されたLLMSは、教育に対するAIの影響を強化するエキサイティングな機会を生み出しますが、GPTおよびその他のリソース集約型LLMS（10Bを超えるパラメーターを含む）に対するフィールドの主な焦点は、小言語モデル（SLM）が潜在的な影響を無視して、リソースが構成する施設を提供し、等しく手頃な価格のAIツールを提供することでもたらす可能性があると主張します。
AIEDの重要な課題である知識コンポーネント（KC）発見に関する肯定的な結果にサポートされているため、PHI-2などのSLMが精巧なプロンプト戦略なしで効果的なソリューションを生成できることを実証します。
したがって、SLMベースのAIEDアプローチの開発により多くの注意を払う必要があります。

要約(オリジナル)

GPT has become nearly synonymous with large language models (LLMs), an increasingly popular term in AIED proceedings. A simple keyword-based search reveals that 61% of the 76 long and short papers presented at AIED 2024 describe novel solutions using LLMs to address some of the long-standing challenges in education, and 43% specifically mention GPT. Although LLMs pioneered by GPT create exciting opportunities to strengthen the impact of AI on education, we argue that the field’s predominant focus on GPT and other resource-intensive LLMs (with more than 10B parameters) risks neglecting the potential impact that small language models (SLMs) can make in providing resource-constrained institutions with equitable and affordable access to high-quality AI tools. Supported by positive results on knowledge component (KC) discovery, a critical challenge in AIED, we demonstrate that SLMs such as Phi-2 can produce an effective solution without elaborate prompting strategies. Hence, we call for more attention to developing SLM-based AIED approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google