acoupi: An Open-Source Python Framework for Deploying Bioacoustic AI Models on Edge Devices

要約

1.人工知能（AI）と組み合わせたパッシブ音響モニタリング（PAM）は、生物多様性モニタリングに不可欠なツールになりつつあります。
従来のPAMシステムでは、手動データのオフロードを必要とし、ストレージおよびコンピューティングインフラストラクチャにかなりの需要を課します。
オンデバイスAIベースの処理とネットワーク接続の組み合わせにより、ローカルデータ分析と関連する情報のみの送信により、ストレージのニーズが大幅に削減されます。
ただし、これらのデバイスを堅牢な操作のためにプログラミングすることは困難であり、組み込みシステムとソフトウェアエンジニアリングの専門知識が必要です。
BioacousticsのAIベースのモデルの増加にもかかわらず、カスタムハードウェアに展開し、デバイスの動作を特定の監視目標に合わせて展開するためのアクセス可能なツールなしで、それらの可能性を最大限に抑えています。
2。この課題に対処するために、スマートバイオアコースティックデバイスの作成と展開を簡素化するオープンソースPythonフレームワークであるAcoupiを開発します。
Acoupiは、オーディオ録音、AIベースのデータ処理、データ管理、リアルタイムのワイヤレスメッセージングを統合された構成可能なフレームワークに統合します。
生体音響監視ワークフローの重要な要素をモジュール化することにより、Acoupiを使用すると、ユーザーは特定のコンポーネントを簡単にカスタマイズ、拡張、または選択して、独自の監視ニーズに適合させることができます。
3.鳥種の分類のための2つの生体音響分類器の2つの生体音響分類器を統合することにより、Acoupiの柔軟性を実証します。
英国の都市公園にある2つのAcoupiを搭載したデバイスの1か月間の展開を通じて、Acoupiの信頼性をテストします。
4. Acoupiは、Raspberry Piなどの低コストのハードウェアに展開でき、さまざまなアプリケーション用にカスタマイズできます。
Acoupi標準化されたフレームワークと簡素化されたツールは、研究者と保護論者向けのAI駆動のPAMシステムの採用を促進します。
Acoupiはhttps://github.com/acoupi/acoupiでgithubにあります。

要約(オリジナル)

1. Passive acoustic monitoring (PAM) coupled with artificial intelligence (AI) is becoming an essential tool for biodiversity monitoring. Traditional PAM systems require manual data offloading and impose substantial demands on storage and computing infrastructure. The combination of on-device AI-based processing and network connectivity enables local data analysis and transmission of only relevant information, greatly reducing storage needs. However, programming these devices for robust operation is challenging, requiring expertise in embedded systems and software engineering. Despite the increase in AI-based models for bioacoustics, their full potential remains unrealized without accessible tools to deploy them on custom hardware and tailor device behaviour to specific monitoring goals. 2. To address this challenge, we develop acoupi, an open-source Python framework that simplifies the creation and deployment of smart bioacoustic devices. acoupi integrates audio recording, AI-based data processing, data management, and real-time wireless messaging into a unified and configurable framework. By modularising key elements of the bioacoustic monitoring workflow, acoupi allows users to easily customise, extend, or select specific components to fit their unique monitoring needs. 3. We demonstrate the flexibility of acoupi by integrating two bioacoustic classifiers: BirdNET, for the classification of bird species, and BatDetect2, for the classification of UK bat species. We test the reliability of acoupi over a month-long deployment of two acoupi-powered devices in a UK urban park. 4. acoupi can be deployed on low-cost hardware such as the Raspberry Pi and can be customised for various applications. acoupi standardised framework and simplified tools facilitate the adoption of AI-powered PAM systems for researchers and conservationists. acoupi is on GitHub at https://github.com/acoupi/acoupi.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google