Deduplicating and Ranking Solution Programs for Suggesting Reference Solutions

要約

他のユーザーが作成したソリューション プログラムを参照することは、プログラミング教育の学習者にとって役立ちます。
しかし、現在のオンラインジャッジシステムは、ユーザーが参考として提出したすべての解決策プログラムを列挙するだけで、提出日時、実行時間、ユーザーの評価などに基づいてプログラムがソートされ、どの程度参考になるかは無視されています。
さらに、重複したプログラムや重複に近いプログラムが多すぎるため、ユーザーはさまざまな解決策を参照するのに苦労しています。
学習者がさまざまな解決策を参照して、より良い解決策を学ぶよう動機付けるために、この論文では、各プログラミング問題で共通の解決策プログラムを重複排除してランク付けするアプローチを提案します。
重複が多いプログラムはより一般的なアプローチを採用しており、一般的な参照となり得るという性質に着想を得て、ほぼ重複したソリューション プログラムを削除し、重複数に基づいて独自のプログラムをランク付けします。
実際のオンライン審査システムに提出されたソリューション プログラムの実験では、プログラムの数が 60.20% 削減されるのに対し、重複排除後はベースラインが 29.59% しか減らないことが実証されました。つまり、ユーザーは 39.80% のプログラムを参照するだけで済みます。
平均してプログラム。
さらに、分析の結果、上位 10 位のプログラムは平均して 29.95% のプログラムをカバーしており、ユーザーは 10 個のプログラムを参照するだけで、解決策のアプローチの 29.95% を把握できることがわかります。
提案されたアプローチは、学習者があまりにも多くの解決策を参照する負担を軽減し、さまざまな解決策のアプローチを学習する動機を与える可能性を示しています。

要約(オリジナル)

Referring to solution programs written by other users is helpful for learners in programming education. However, current online judge systems just list all solution programs submitted by users for references, and the programs are sorted based on the submission date and time, execution time, or user rating, ignoring to what extent the programs can be helpful to be referenced. In addition, users struggle to refer to a variety of solution approaches since there are too many duplicated and near-duplicated programs. To motivate learners to refer to various solutions to learn better solution approaches, in this paper, we propose an approach to deduplicate and rank common solution programs in each programming problem. Inspired by the nature that the many-duplicated program adopts a more common approach and can be a general reference, we remove the near-duplicated solution programs and rank the unique programs based on the duplicate count. The experiments on the solution programs submitted to a real-world online judge system demonstrate that the number of programs is reduced by 60.20%, whereas the baseline only reduces by 29.59% after the deduplication, meaning that users only need to refer to 39.80% of programs on average. Furthermore, our analysis shows that top-10 ranked programs cover 29.95% of programs on average, indicating that users can grasp 29.95% of solution approaches by referring to only 10 programs. The proposed approach shows the potential of reducing the learners’ burden of referring to too many solutions and motivating them to learn a variety of solution approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google