Exploring Aviation Incident Narratives Using Topic Modeling and Clustering Techniques

要約

航空の安全は世界的な懸念事項であり、要因を包括的に理解するには、インシデントの詳細な調査が必要です。
この研究では、国家運輸安全委員会 (NTSB) のデータセットを使用します。
潜在ディリクレ割り当て (LDA)、非負行列分解 (NMF)、潜在意味分析 (LSA)、確率的潜在意味分析 (pLSA)、K 平均法クラスタリングなどの高度な自然言語処理 (NLP) 技術を適用します。
主な目的は、潜在的なテーマの特定、意味的関係の探索、確率的な関係の評価、および共通の特性に基づくクラスター インシデントです。
この研究は、事故の物語についての洞察を提供し、複雑なデータセットから貴重な情報を抽出する際の NLP およびトピック モデリング技術の多用途性を実証することにより、航空の安全に貢献します。
さまざまな手法から特定されたトピックを含む結果により、繰り返し発生するテーマについての理解が得られます。
比較分析により、LDA がコヒーレンス値 0.597、pLSA 0.583、LSA 0.542、NMF 0.437 で最も優れたパフォーマンスを示したことがわかります。
K 平均法クラスタリングにより、インシデントの物語の共通点と独自の洞察がさらに明らかになります。
結論として、この研究は、事件の物語内の潜在的なパターンとテーマ構造を明らかにし、複数のトピックのモデリング技術の比較分析を提供します。
将来の研究手段には、時間的パターンの探索、追加のデータセットの組み込み、安全性の問題を早期に特定するための予測モデルの開発が含まれます。
この研究は、事故の物語に埋め込まれた豊富な情報を利用することにより、航空安全の理解を強化し、改善するための基礎を築きます。

要約(オリジナル)

Aviation safety is a global concern, requiring detailed investigations into incidents to understand contributing factors comprehensively. This study uses the National Transportation Safety Board (NTSB) dataset. It applies advanced natural language processing (NLP) techniques, including Latent Dirichlet Allocation (LDA), Non-Negative Matrix Factorization (NMF), Latent Semantic Analysis (LSA), Probabilistic Latent Semantic Analysis (pLSA), and K-means clustering. The main objectives are identifying latent themes, exploring semantic relationships, assessing probabilistic connections, and cluster incidents based on shared characteristics. This research contributes to aviation safety by providing insights into incident narratives and demonstrating the versatility of NLP and topic modelling techniques in extracting valuable information from complex datasets. The results, including topics identified from various techniques, provide an understanding of recurring themes. Comparative analysis reveals that LDA performed best with a coherence value of 0.597, pLSA of 0.583, LSA of 0.542, and NMF of 0.437. K-means clustering further reveals commonalities and unique insights into incident narratives. In conclusion, this study uncovers latent patterns and thematic structures within incident narratives, offering a comparative analysis of multiple-topic modelling techniques. Future research avenues include exploring temporal patterns, incorporating additional datasets, and developing predictive models for early identification of safety issues. This research lays the groundwork for enhancing the understanding and improvement of aviation safety by utilising the wealth of information embedded in incident narratives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google