AviationGPT: A Large Language Model for the Aviation Domain

要約

ChatGPT と GPT-4 の出現により、大規模言語モデル (LLM) が世界を魅了し、質問応答、要約、コンテンツ生成において優れたパフォーマンスを発揮しました。
航空業界は、専門用語や専門用語が豊富に含まれる、複雑で非構造化されたテキスト データが大量に存在することが特徴です。
さらに、この分野ではモデル構築用のラベル付きデータが不足しているため、航空テキスト データの使用率が低くなります。
LLM の出現はこの状況を変える機会をもたらしますが、航空分野向けに特別に設計された LLM は不足しています。
このギャップに対処するために、私たちは AviationGPT を提案します。これは、オープンソースの LLaMA-2 および Mistral アーキテクチャに基づいて構築され、注意深く厳選された豊富な航空データセットで継続的にトレーニングされます。
実験結果から、AviationGPT は、さまざまな自然言語処理 (NLP) 問題 (質問応答、要約、文書作成、情報抽出、レポートのクエリ、データ クリーニング、対話型データ探索など) に取り組む多用途性を含む、複数の利点をユーザーに提供することが明らかになりました。
また、航空ドメイン内で正確かつ状況に応じた応答を提供し、パフォーマンスを大幅に向上させます (たとえば、テストされたケースでは 40% 以上のパフォーマンス向上)。
AviationGPT を使用することで、航空業界はより複雑な研究​​問題に対処し、National Airspace System (NAS) 運用の効率と安全性を向上させることができます。

要約(オリジナル)

The advent of ChatGPT and GPT-4 has captivated the world with large language models (LLMs), demonstrating exceptional performance in question-answering, summarization, and content generation. The aviation industry is characterized by an abundance of complex, unstructured text data, replete with technical jargon and specialized terminology. Moreover, labeled data for model building are scarce in this domain, resulting in low usage of aviation text data. The emergence of LLMs presents an opportunity to transform this situation, but there is a lack of LLMs specifically designed for the aviation domain. To address this gap, we propose AviationGPT, which is built on open-source LLaMA-2 and Mistral architectures and continuously trained on a wealth of carefully curated aviation datasets. Experimental results reveal that AviationGPT offers users multiple advantages, including the versatility to tackle diverse natural language processing (NLP) problems (e.g., question-answering, summarization, document writing, information extraction, report querying, data cleaning, and interactive data exploration). It also provides accurate and contextually relevant responses within the aviation domain and significantly improves performance (e.g., over a 40% performance gain in tested cases). With AviationGPT, the aviation industry is better equipped to address more complex research problems and enhance the efficiency and safety of National Airspace System (NAS) operations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google