バナー

STM32N6のAI サンプル (Object Detection) と評価指標


ビルドと実行の流れ


［受講無料］GPU/CPU/量子コンピュータによるサイバーセキュリティ実践プログラミング（8月27日～9月3日 オンライン受講）


評価指標と精度の確認

図1　NPU搭載のエッジ推論用マイコンSTM32N657の開発環境にはAIサンプルが提供されており、組み込みシステムでAIモデルの動作確認が可能


STM32N6シリーズでは，AI推論を利用したサンプル・プロジェクトが提供されており，Object Detectionを含む複数のモデルが評価可能です．STM32AI-ModelZooから取得できるサンプルは，画像分類，物体検出，インスタンス・セグメンテーション，セマンティック・セグメンテーション，音声イベント検出，ポーズ推定などです．このうちObject Detectionのサンプルは動作確認が可能であり，STM32N6570-DK評価ボードで実行できます．

Object Detectionモデルは，入力画像に対して物体の位置を示すBounding boxと，物体のクラス，信頼度スコアを出力します．これにより組み込み環境でのリアルタイム物体検出が可能になります．推論時間はおよそ33ms程度であり，従来環境と比較して大幅に高速化されています．

Object Detectionの評価指標

AIサンプルの評価では，推論精度を示すために複数の指標が用いられます．READMEに記載されている主な評価指標は以下です．

  1. TP（True Positive）：正しく検出できた個数
  2. FP（False Positive）：誤って検出した個数
  3. FN（False Negative）：見つけられなかった個数
  4. Precision：$TP/（TP+FP）$，予測が正しい割合
  5. Recall：$TP/（TP+FN）$，物体を見つけられた割合
  6. AP（Average Precision）：1クラスごとの精度をリコール全体にわたって平均した値
  7. mAP（mean AP）：すべてのクラスにおけるAPの平均

これらの指標を組み合わせることで，単純な精度だけでなく，誤検出や検出漏れを含めた全体的な性能評価が可能です．COCO 2017のデータ・セットを利用した評価では，mAPが精度の代表値として用いられています．

ビルドと実行の流れ

Object DetectionサンプルをSTM32N6評価ボードで動作させるには，STM32AI-ModelZooとModelZoo Servicesのリポジトリを利用します．ModelZooは各種モデルを含み，ModelZoo Servicesは評価ボード向けのプロジェクトやツール群を提供しています．さらにultralyticsのST forkからモデルを取得することで，学習済みの物体検出ネットワークを利用できます．

ビルドと実行の基本的な流れは以下です．

  1. ModelZooおよびModelZoo Servicesのリポジトリをclone
  2. 対象ボード「STM32N6570-DK」のObject Detectionサンプルを選択
  3. 必要に応じてultralyticsのST forkからモデルを取得
  4. プロジェクトをビルドしてhexファイルを生成
  5. STM32CubeProgrammerを用いて外部Flashに書き込み
  6. ai_fsbl.hex，network_data.hex，ObjectDetection.hexをそれぞれ書き込み
  7. ボードをFlashブートモードに設定し実行

カメラを接続していない場合は出力が得られず，カメラ接続時には入力画像と検出結果が表示されます．この動作により，組み込み機器でのリアルタイム物体検出の評価が可能です．

〈著：ZEPマガジン〉

講師紹介

  • 山田 浩之
  • 2015年　都内電子機器メーカに入社．主にUSB3.1やDisplayPort，MIPI，車載向けSer/Desなど高速インタフェース変換基板の設計開発．回路設計からファームウェア，ソフトウェア開発（C/C++）を担当
  • 2023年　「Y-Logic」として独立開業

著書

  1. タッチパネルLCD搭載！Cortex-M4/M7×500MHz！全部入りキット STM32H747I-DISCO誕生．ZEPエンジニアリング．
  2. ディジタル信号処理入門 FFTスペアナの制作．ZEPエンジニアリング．
  3. ディジタル信号処理入門 再生速度＆音程エフェクタの制作．ZEPエンジニアリング．
  4. STM32H7ハイスペック・マイコンで作るオーディオ・スペクトラム・アナライザ
  5. スピーカ周波数特性テスタの実装．ZEPエンジニアリング．
  6. 世界統一規格新USBType-C攻略DVD（特集）第4部，トランジスタ技術2020年2月号，CQ出版社．
  7. 電池交換不要！消費電流1μA未満のソーラ充電式導通チェッカ，トランジスタ技術2020年10月号，CQ出版社．
  8. AVRでサクッとマイコン開発（特集すべて），トランジスタ技術2021年4月号，CQ出版社．
  9. 3桁表示ミリオーム計の設計・製作，トランジスタ技術2021年6月号，CQ出版社．
  10. 直流バイアス付きコンデンサ容量計，トランジスタ技術2021年11月号-2022年3月号（短期連載），CQ出版社．
  11. 超便利！ICの故障・真贋チェッカの製作，トランジスタ技術2023年3月号，CQ出版社
  12. 作る！わかる！USBType-C＆電源（特集）第1部3-4章，トランジスタ技術2023年6月号，CQ出版社．
  13. 20mVステップUSB可変電源の製作，トランジスタ技術2023年9月号，CQ出版社．
  14. 「大安」「仏滅」を計算する六曜カレンダ回路の製作，トランジスタ技術2024年3月号，CQ出版社．

参考文献

  1. ［VOD/KIT］STM32マイコン＆Wi-Fiモジュールで学ぶ C/C++プログラミング入門，ZEPエンジニアリング株式会社．
  2. 実験しながら学ぶフーリエ解析とディジタル信号処理［Vol.1：フーリエ解析の基本「三角関数」の正しい理解］
  3. ［VOD］Pythonで学ぶ やりなおし数学塾2【フーリエ解析】