Contrastive Learning for API Aspect Analysis

要約

教師あり対比損失目的関数でトレーニングされた変圧器モデルを利用した、API レビューにおける API アスペクト検出のための新しいアプローチ CLAA を紹介します。
当社は、パフォーマンスと影響分析を使用して CLAA を評価します。
パフォーマンス分析のために、Stack Overflow から収集された開発者のディスカッションに関するベンチマーク データセットを利用し、その結果を最先端のトランスフォーマー モデルを使用して得られた結果と比較しました。
私たちの実験では、対比学習により、パフォーマンス、セキュリティ、使いやすさ、ドキュメントなどの側面の検出においてトランスフォーマー モデルのパフォーマンスが大幅に向上することが示されました。
影響分析のために、実証研究と開発者研究を実施しました。
無作為に選択され、手動でラベル付けされた 200 件のオンライン レビューでは、CLAA は 92% の精度を達成しましたが、SOTA ベースラインは 81.5% を達成しました。
10 人の参加者を対象とした開発者調査によると、「スタック オーバーフロー + CLAA」の使用により、API 選択時の精度と信頼性が向上しました。
レプリケーションパッケージ: https://github.com/shahariar-shibli/Contrastive-Learning-for-API-Aspect-Analysis

要約(オリジナル)

We present a novel approach – CLAA – for API aspect detection in API reviews that utilizes transformer models trained with a supervised contrastive loss objective function. We evaluate CLAA using performance and impact analysis. For performance analysis, we utilized a benchmark dataset on developer discussions collected from Stack Overflow and compare the results to those obtained using state-of-the-art transformer models. Our experiments show that contrastive learning can significantly improve the performance of transformer models in detecting aspects such as Performance, Security, Usability, and Documentation. For impact analysis, we performed empirical and developer study. On a randomly selected and manually labeled 200 online reviews, CLAA achieved 92% accuracy while the SOTA baseline achieved 81.5%. According to our developer study involving 10 participants, the use of ‘Stack Overflow + CLAA’ resulted in increased accuracy and confidence during API selection. Replication package: https://github.com/shahariar-shibli/Contrastive-Learning-for-API-Aspect-Analysis

arxiv情報

提供元, 利用サービス

arxiv.jp, Google