A First Look at Information Highlighting in Stack Overflow Answers

要約

コンテキストStack Overflow (SO)のナビゲートは依然として難しい。ユーザーにとって投稿が鮮明になるように、SOではユーザーがMarkdownやHTMLで投稿を書いたり編集したりできるようになっており、ユーザーは重要な情報を強調するために様々な書式スタイル（太字、斜体、コードなど）を活用することができる。それにもかかわらず、ハイライトされた情報に関する研究は限られている。目的我々は、最近の研究で、SO回答で強調表示された情報に関する最初の大規模な探索的研究を実施した。本研究では、名前付き固有表現認識タスクのために設計されたニューラルネットワークアーキテクチャを用いて、強調された内容を書式付きで自動的に推薦するアプローチを開発する。方法本稿では、Stack Overflowの31,169,429の回答を調査した。推薦モデルの学習には、SOの回答から収集した情報ハイライトデータセットを用いて、書式の種類（太字、斜体、コード、見出し）ごとにCNNモデルとBERTモデルを選択した。結果CNNアーキテクチャに基づくモデルは、0.71～0.82の精度を達成した。コード内容の自動強調表示の学習済みモデルは、0.73の再現率と0.71のF1スコアを達成し、他の書式スタイルの学習済みモデルよりも優れている。BERTモデルは、CNNモデルよりもさらに低い再現率とF1スコアを示しています。失敗事例の分析から、失敗事例の大部分は、モデルが頻繁にハイライトされる単語を学習する一方で、頻度の低い単語を学習するのに苦労する傾向があるため、識別ができない（すなわち、モデルがハイライトされるはずのコンテンツを見落とす）ことが示されている。結論我々の発見は、Stack Overflow上の異なる書式スタイルを持つ回答に対して、情報をハイライトする推薦モデルを開発することが可能であることを示唆している。

要約(オリジナル)

Context: Navigating the knowledge of Stack Overflow (SO) remains challenging. To make the posts vivid to users, SO allows users to write and edit posts with Markdown or HTML so that users can leverage various formatting styles (e.g., bold, italic, and code) to highlight the important information. Nonetheless, there have been limited studies on the highlighted information. Objective: We carried out the first large-scale exploratory study on the information highlighted in SO answers in our recent study. To extend our previous study, we develop approaches to automatically recommend highlighted content with formatting styles using neural network architectures initially designed for the Named Entity Recognition task. Method: In this paper, we studied 31,169,429 answers of Stack Overflow. For training recommendation models, we choose CNN and BERT models for each type of formatting (i.e., Bold, Italic, Code, and Heading) using the information highlighting dataset we collected from SO answers. Results: Our models based on CNN architecture achieve precision ranging from 0.71 to 0.82. The trained model for automatic code content highlighting achieves a recall of 0.73 and an F1 score of 0.71, outperforming the trained models for other formatting styles. The BERT models have even lower recalls and F1 scores than the CNN models. Our analysis of failure cases indicates that the majority of the failure cases are missing identification (i.e., the model misses the content that is supposed to be highlighted) due to the models tend to learn the frequently highlighted words while struggling to learn less frequent words. Conclusion: Our findings suggest that it is possible to develop recommendation models for highlighting information for answers with different formatting styles on Stack Overflow.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL