19年の年始早々にSTM32Cube.AIがリリースされました。
STM32Cube.AIはPC等で学習させて
STM32マイコンで推論させることができます。
まさにAIのエッジコンピューティングを実現するツールです。
推論の動作テストをする手順について紹介します。
今回作成したコードとプロジェクトはこちらにアップしてあります。
まず、ターゲットはF3,F4,L4,L5,F7,H7が対応しています。
ただ、ROM、RAMを多く使うため、実際はF7、H7が現実的だと思います。
ただ、ROM、RAMを多く使うため、実際はF7、H7が現実的だと思います。
Caffe、Keras、Lasagneの学習済ファイルを使用して推論させますが、
今回は動画内で使用されているファイルを使用します。
【準備物】
・F3,F4,L4,L5,F7,H7ターゲットデバイス
・学習済みモデル 生ファイルはこちらから。
https://github.com/Shahnawax/HAR-CNN-Keras
・STMCubeMX5.0以降
・SW4STM32やTrue Studioなどの開発環境
①Cube.AIのパッケージを追加する
STMCubeMX5.0以降はHALライブラリ以外の関連ライブラリも
簡単にダウンロードできるようになっています。
CubeMXを開いて、
「Embedded Software Package Manager」の
「STMicroelectronics」タブから
Cube.AIにチェックを入れてパッケージをインストールします。
回線が細い場合は中途半端な状態でパッケージが入り、
学習済モデル読み込み時に「Invalid network」という
エラーが出る場合があります。
その場合は中途半端なパーケージを削除後、
ZIPを解凍して「Embedded Software Package Manager」の
「From Local」からインストールを選択してください。
削除はC:\Users\(USER_NAME)\STM32Cube\Repository\Packs\STMicroelectronics\X-CUBE-AI
のフォルダを全削除します。
②STM32マイコンの選定
学習済モデルの推論に必要なROMとRAMを確認し、
STM32マイコンの選定します。
「MCU Selector」の「Artificial Intelligence」に
Enableのチェックを入れて
Model「Keras」
Type「Saved Model」
Model「(準備物のgithubファイル)」
Compression「None」
でAnalyzeをクリックします。
フラッシュ2.82MByteとなり、
フラッシュメモリが足りず、
このままでは推論できません。
Compression「4」
でAnalyzeをクリックします。
フラッシュ775kByteとなり、
STM32マイコンで推論できる現実的な値となります。
今回は手持ちにあったSTM32F746-Discoを使用するため、
STM32F746NGHを選択しました。
③ターゲットボード設定
STM32F746NGH選択後、「Additional Softwares」をクリックして、
X-Cube-AI/Application内の設定を有効化します。
Coreライブラリにチェックを入れ有効化し、
Applicationは「Validation」を選択して「OK」ボタンで画面を閉じます。
今回はライブラリの検証のため、
「Validation」を選択しますが、
速度検証の場合は「System Performance」、
推論のユーザーコードを実装する場合は
「Application template」を選択します。
④ライブラリ設定
「Additional Software」に「X-CUBE.AI」が追加されます。
「X-CUBE.AI」をクリックして、
「Artificial Intelligence Core」
「Artificial Intelligence Application」にチェックを入れて有効化します。
最初、「Additional Software」に「X-CUBE.AI」が表示されず、
選択できない不具合があり、CubeMX自体とCube.AIパッケージを再度、
再インストールし直すと表示されるようになりました。
⑤Cube.AI設定
「Additional Software」の「X-CUBE.AI」をクリックします。
networkタブを選択します。表示がない場合は＋で追加します。
ライブラリに「Keras」、「Saved model」を選択し、
Model「(準備物のgithubファイル)」を選択します。
Compression「4」を選択して、
「Analyze」ボタンをクリックします。
⑥ファイルの検証
「Validate on desktop」をクリックして、
学習済ファイルの検証をします。
Validation StatusにSuccessが表示されたら検証完了です。
⑦その他設定
「Computing」項目の「CRC」を有効化します。
STM32F746DiscoはUSART1でPA9、PB7でSTLinkで接続されています。
USART1を有効化します。
また、必要に応じてデバッグ用のSTLinkを有効化します。
CORTEX_M7をクリックし、IとDのCacheを有効化します。
⑧クロック設定
デフォルトは16MHzのため、最大の216MHzを入力します。
他の欄をクリックするとクロックウィザード確認がでるため、
OKボタンを押して他のクロックも合わせて自動設定します。
⑨出力設定
推論した結果等の情報をUsart1に出力します。
再度、「Additional Software」の「X-CUBE.AI」をクリックし、
「Platform Setting」から先ほど選択したUsart1を選択します。
⑩コード自動生成
HEAPサイズを0x200から0x2000に設定して、
他の設定は使用する開発環境等に合わせて設定し、
「Generate Code」をクリックします。
⑪開発環境にプロジェクトを追加し、ビルドします。
SW4STM32ではCubeMXで生成したプロジェクト設定に
バグがあるようです。
そのままではパスが通らず、ビルドできませんでした。
C/C++General内のPath and Symbols、IncludeタブのGNU Cで
デフォルトではDebug/Middlewares/***となっているため、
Debug/を削除してApplyボタンを押して適用します。
同様にLibrary Pathタブでも
Debug/を削除してApplyボタンを押して適用します。
念のため、C/C++ Build内のSettingのMCU GCC Linkerの
Librariesで先ほどの設定が反映されているか確認します。
⑫ビルド＆書き込み
STLink等でSTM32F7へ書き込みを行います。
⑬デバイス上での検証
先ほど生成したプロジェクトフォルダ内の
*.iocファイルをダブルクリックして、CubeMXを開きます。
「Additional Software」の「X-CUBE.AI」をクリックし、
networkタブからValidate Targetをクリックします。
デバイスのCOMポート確認画面が表示されるため、
デバイスマネージャ等で対象のデバイスCOM番号を選択します。
CubeMXのWindowでOutputにチェックを入れて結果を表示させます。
CubeMXの画面下に出力画面に結果が表示されました。
ValidationはOKで、入力した値(今回はrandom数)に対して
推論した値とのerror値を確認できます。
入力する値はCustomDataを選択してcsvファイルとして入力して、
検証することもできます。
ということでCube.AIを使ってデバイス上で推論することができました。
Cube.AIはAIライブラリとしては
非常に使いやすいソフトウェアとなっていますが、
まだインストールに少し難があります。
インストールミスで選択画面が表示されないといったエラーがありました。
何度かパッケージの再インストールで動作できるところまでできました。
インストールミスは今後のアップデートで改善すると思います。
今後は実際にセンサから人の姿勢の推定といったAIを活用してみたいと思います。
今回作成したコードとプロジェクトはこちらにアップしてあります。
