Cross-Domain Evaluation of a Deep Learning-Based Type Inference System

要約

オプションの型注釈を使用すると、統合開発環境 (IDE) のサポートの向上、より正確なプログラム分析、型関連の実行時エラーの早期検出と防止などの静的型付け機能を使用して、動的プログラミング言語を強化できます。
機械学習ベースの型推論は、このタスクを自動化するための興味深い結果を約束します。
ただし、このようなシステムの実際の使用法は、トレーニング ドメイン外で適用されることが多いため、さまざまなドメインにわたって一般化する能力に依存します。
この作業では、大規模なクロスドメイン実験を実施することにより、最先端の深層学習ベースの型推論システムの代表として Type4Py を調査します。
これにより、クラスの不均衡、語彙外の単語、データセットのシフト、未知のクラスなどの問題に対処します。
このような実験を行うために、データセット ManyTypes4Py と CrossDomainTypes4Py を使用します。
後者については、この記事で紹介します。
私たちのデータセットは、ソフトウェア プロジェクトのさまざまなドメインでの型推論システムの評価を可能にし、プラットフォーム GitHub とライブラリでマイニングされた 1,000,000 を超える型注釈を持っています。
これは、Web 開発と科学計算の 2 つのドメインからのデータで構成されています。
私たちの実験を通じて、データセットのシフトと、多くの希少で未知のデータ型を含むロングテール分布が、ディープラーニングベースの型推論システムのパフォーマンスを大幅に低下させることを検出しました。
このコンテキストでは、これらの問題を克服するために、教師なしドメイン適応方法と微調整をテストします。
さらに、語彙外の単語の影響を調査します。

要約(オリジナル)

Optional type annotations allow for enriching dynamic programming languages with static typing features like better Integrated Development Environment (IDE) support, more precise program analysis, and early detection and prevention of type-related runtime errors. Machine learning-based type inference promises interesting results for automating this task. However, the practical usage of such systems depends on their ability to generalize across different domains, as they are often applied outside their training domain. In this work, we investigate Type4Py as a representative of state-of-the-art deep learning-based type inference systems, by conducting extensive cross-domain experiments. Thereby, we address the following problems: class imbalances, out-of-vocabulary words, dataset shifts, and unknown classes. To perform such experiments, we use the datasets ManyTypes4Py and CrossDomainTypes4Py. The latter we introduce in this paper. Our dataset enables the evaluation of type inference systems in different domains of software projects and has over 1,000,000 type annotations mined on the platforms GitHub and Libraries. It consists of data from the two domains web development and scientific calculation. Through our experiments, we detect that the shifts in the dataset and the long-tailed distribution with many rare and unknown data types decrease the performance of the deep learning-based type inference system drastically. In this context, we test unsupervised domain adaptation methods and fine-tuning to overcome these issues. Moreover, we investigate the impact of out-of-vocabulary words.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google