Zero-Shot Image-Based Large Language Model Approach to Road Pavement Monitoring

要約

舗装表面の状態の効果的かつ迅速な評価は、メンテナンスに優先順位を付け、輸送の安全性を確保し、車両の摩耗と裂傷を最小限に抑えるために重要です。
従来の手動検査には主観性がありますが、既存の機械学習ベースの方法は、大規模で高品質のラベル付きデータセットに依存することによって制約されています。
大規模な言語モデル（LLMS）の革命的な進歩は、これらの課題を克服する重要な可能性を提示します。
この研究では、道路状況を効果的に評価するためにLLMの画像認識と自然言語理解能力を活用する革新的な自動化されたゼロショット学習アプローチを提案します。
複数のLLMベースの評価モデルが開発され、舗装表面条件指数（PSCI）標準に合わせた迅速なエンジニアリング戦略を採用しました。
これらのモデルの精度と信頼性は、最終的に最終的に選択された公式のPSCI結果に対して評価されました。
広範なテストは、Google Street View Roadの画像を使用して、さまざまなレベルの専門家からの評価に対して最適化されたモデルをベンチマークしました。
結果は、LLMベースのアプローチが道路条件を効果的に評価できることを明らかにし、最適化されたモデルを雇用して構造化された迅速なエンジニアリング戦略を実行し、高精度と一貫性を達成することでよりシンプルな構成を実行し、さらには専門家の評価を上回ります。
さらに、最適化されたモデルをGoogle Street View画像に正常に適用することは、将来の都市規模の展開の可能性を示しています。
これらの調査結果は、道路損傷の評価を自動化する際のLLMSの変革の可能性を強調し、信頼できる評価を達成する上で詳細な迅速なエンジニアリングの極めて重要な役割を強調しています。

要約(オリジナル)

Effective and rapid evaluation of pavement surface condition is critical for prioritizing maintenance, ensuring transportation safety, and minimizing vehicle wear and tear. While conventional manual inspections suffer from subjectivity, existing machine learning-based methods are constrained by their reliance on large and high-quality labeled datasets, which require significant resources and limit adaptability across varied road conditions. The revolutionary advancements in Large Language Models (LLMs) present significant potential for overcoming these challenges. In this study, we propose an innovative automated zero-shot learning approach that leverages the image recognition and natural language understanding capabilities of LLMs to assess road conditions effectively. Multiple LLM-based assessment models were developed, employing prompt engineering strategies aligned with the Pavement Surface Condition Index (PSCI) standards. These models’ accuracy and reliability were evaluated against official PSCI results, with an optimized model ultimately selected. Extensive tests benchmarked the optimized model against evaluations from various levels experts using Google Street View road images. The results reveal that the LLM-based approach can effectively assess road conditions, with the optimized model -employing comprehensive and structured prompt engineering strategies -outperforming simpler configurations by achieving high accuracy and consistency, even surpassing expert evaluations. Moreover, successfully applying the optimized model to Google Street View images demonstrates its potential for future city-scale deployments. These findings highlight the transformative potential of LLMs in automating road damage evaluations and underscore the pivotal role of detailed prompt engineering in achieving reliable assessments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google