VCEval: Rethinking What is a Good Educational Video and How to Automatically Evaluate It

要約

オンライン コースにより、教育へのアクセスの障壁は大幅に低くなりましたが、これらのビデオのコンテンツ品質はさまざまであり、課題を引き起こしています。
この作業では、ビデオ コース コンテンツの品質を自動的に評価するタスクに焦点を当てます。
私たちは、ビデオ コースと教材の充実したコレクションを含むデータセットを構築しました。
我々は 3 つの評価原則を提案し、これらの原則に基づいて新しい評価フレームワーク \textit{VCEval} を設計します。
このタスクは、言語モデルが評価者として機能する、多肢選択式の質問応答タスクとしてモデル化されています。
私たちの方法は、さまざまなコンテンツ品質のビデオコースを効果的に区別し、解釈可能な範囲の結果を生成します。

要約(オリジナル)

Online courses have significantly lowered the barrier to accessing education, yet the varying content quality of these videos poses challenges. In this work, we focus on the task of automatically evaluating the quality of video course content. We have constructed a dataset with a substantial collection of video courses and teaching materials. We propose three evaluation principles and design a new evaluation framework, \textit{VCEval}, based on these principles. The task is modeled as a multiple-choice question-answering task, with a language model serving as the evaluator. Our method effectively distinguishes video courses of different content quality and produces a range of interpretable results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google