機械学習

ChainerCVとCenterNetでキーポイントによる物体検出ソフトを作る -カメラ・動画対応-

CenterNet

こんにちは。

コンピュータビジョン(『ロボットの眼』開発)が専門の”はやぶさ”@Cpp_Learningです。

『深層学習による物体検出』が好きで色んな記事を書いています。

今回は、キーポイント検出ベースの物体検出手法:CenterNet (Objects as Points)を使って物体検出ソフトを作りました。

YoloやSSDなどの従来手法 -矩形領域を学習・予測-

物体検出とは、画像内の「どの座標に何が写っているか?」に対する解を得るための手法です。

YoloSSDなどの物体検出手法では、画像とbounding box(物体の位置情報)を教師データとして学習することで、物体検出を実現しています。

bounding box(物体の位置情報)は、アノテーションと呼ばれる作業で定義(生成)します。

深層学習による物体検出

上の図はアノテーション作業でフクロウのbounding boxを定義しているイメージ図です。

bounding boxの定義についてはケースバイケースですが、下記のように矩形領域の左上と右下の座標およびラベルを定義するケースがあります。

左上座標:(320, 50), 右下座標:(580, 300), ラベルID:14 (クラス名:bird)

このようなbounding box(矩形領域)を学習するため、物体検出を実施する推論フェーズでは、物体ごとの矩形領域を予測することになります。

CenterNetとは

従来の矩形領域を予測する物体検出手法では、無数にあるbounding box候補からフィッティングするものを選択する処理が必要になります(下記 ”YoloV2解説”が参考になります)。

このような矩形領域の予測は、無駄の多い非効率的な処理といえます。この問題を解消し、高速な物体検出を実現したのが、キーポイント検出ベースの物体検出手法です。

CenterNet

引用元:Objects as Points

上図を見るとYoloV3よりもCenterNetの方が速くて精度も良いことが分かります。

CenterNet -ヒートマップを学習・予測-

CenterNetでは、ガウシアンカーネルを用いてヒートマップを生成し、そのヒートマップの特徴とbounding box(矩形領域)のサイズなどを学習します。

CenterNet

引用元:Objects as Points

物体検出を実施する推論フェーズでは、入力画像のヒートマップから、物体の中心点(ヒートマップのピーク)を予測し、その中心点の特徴から対象のサイズを推定します。

CenterNet

つまり、入力画像のヒートマップを予測し、そのヒートマップの特徴(特に中心点:キーポイント)から画像内の「どの座標に何が写っているか?」を推定しています。

CenterNetは物体検出だけでなく、3D物体検出や姿勢検出にも応用できます。ただし、本記事では物体検出についてのみ説明しました

スポンサーリンク

実践!CenterNetで物体検出

CenterNetの本家はPytorch実装です。そのほか、Keres実装などもありますが、本記事では以下のChainer実装を採用します。

なんで、本家のPytorchじゃなくてChainerを採用したの?

と聞かれると少し困りますが、素直に回答すると…

はやぶさ
はやぶさ
Chainer実装を見つけてちょっと感動したから!

ですね。論文や本家のソースコードを参考にChainerなどで再現実装する人がいて、しかもGitHubやブログなどで作成したソースコードを公開してくれる!すごい世の中ですね。感謝!!

環境構築

Chainerを使った物体検出ソフト用の環境構築(Windows編)については、以下の記事に書いたので、ご参照下さい。

ChainerCVとYoloでリアルタイム物体検出
ChainerCVとYoloで『カメラ・動画対応!リアルタイム物体検出ソフト』を作るChainerファミリ一つChainerCVのYoloサンプルソースをカメラ・動画に対応できるよう改造した「リアルタイム物体検出ソフト」を開発した。その開発手順を紹介します。...

基本的には以下のコマンドで必要なパッケージをインストールすればOKです。

pip install [パッケージ名]

本記事では、以下のパッケージをインストールして動作確認しました。

  • Python 3.7
  • Chainer 6.4.0
  • ChainerCV 0.13.0
  • OpenCV 4.1.1

Chainer-CenterNetで物体検出 -静止画編-

chainer-centernet|GitHubリポジトリは以下のようなフォルダ構成になっています。

chainer-centernet
├─centernet
│ ├─datasets
│ ├─functions
│ ├─models
│ │ └─networks
│ └─utilities
├─data
│ └─demo
├─scripts
└─tests

READMEに従い学習済みモデルをダウンロード(download)し、modelsフォルダ(無いので先に作る)に保存します。

chainer-centernet
├─centernet
│ ├─datasets
│ ├─functions
│ ├─models
│ │ └─networks
│ └─utilities
├─data
│ └─demo
├─models
├─scripts
└─tests

あとは、visualize.pyを実行(run)すれば、直ぐに静止画に対しCenterNetによる物体検出を実践できます。

Chainer-CenterNetで物体検出 -カメラ・動画編-

静止画だけでなく、カメラ・動画に対してもCenterNetによる物体検出を実践したかったので、ソースコードを自作しました。

visualize.pyをベースにカメラ・動画対応させたので、このコードに”visualize_cam.py”という名前を付けました。

visualize.py同様にscriptsに保存しても良いのですが、今回は以下の場所に”visualize_cam.py”を保存しました。

chainer-centernet
├─centernet
│ ├─datasets
│ ├─functions
│ ├─models
│ │ └─networks
│ └─utilities
├─data
│ └─demo
├─models
├─visualize_cam.py
├─tests
└─scripts
└─visualize.py

『visualize_cam.py』の使い方

パーサーで以下の項目を設定してから、”visualize_cam.py”を実行します。

設定項目 記号 選択候補
スコア閾値 –threshold ボックス描画したいスコアの下限値
カメラ・動画モード選択 末尾に設定 カメラなら”0”
動画ならファイルパス

いくつか例を示します。

【使用例1】 カメラモードで物体検出(デフォルト設定)

以下のコマンドでWebカメラによる物体検出を試せます。

python visualize_cam.py 0

※スコア閾値=0.3がデフォルト設定

【使用例2】 動画モードで物体検出(デフォルト設定)

以下のコマンドで好きな動画に対し物体検出を試せます。

python python visualize_cam.py  [VideoPath]

【使用例3】カメラモードで物体検出(スコア閾値指定)

以下のコマンドでスコア閾値=0.5などに変更できます。

python python visualize_cam.py -threshold 0.5 0

動画の場合は以下の通りです。

python python visualize_cam.py -threshold 0.5 [VideoPath]

キーボードの”q”を押すと停止し、動画の場合は動画が終れば自動停止します。

動作確認

”visualize_cam.py”でフクロウを検出したときの様子が以下の動画です。

※この映像は20fpsで再生しています。

第8世代となるインテルCoreプロセッサ(Core i5-8250U)で動かしましたが、処理速度は1fps(右上に表示)でした。

以下で試したYoloV3と同じ結果ですね。

ChainerCVとYoloでリアルタイム物体検出
ChainerCVとYoloで『カメラ・動画対応!リアルタイム物体検出ソフト』を作るChainerファミリ一つChainerCVのYoloサンプルソースをカメラ・動画に対応できるよう改造した「リアルタイム物体検出ソフト」を開発した。その開発手順を紹介します。...

以下で試したMobileNetV1-SSDが約3fpsなのでCPUではCenterNetの本領を発揮できなかったと考えられます。

PytorchでMobileNet SSDによるリアルタイム物体検出
PyTorchでMobileNet SSDによるリアルタイム物体検出深層学習フレームワークPytorchを使い、ディープラーニングによる物体検出の記事を書きました。物体検出手法にはいくつか種類がありますが、今回はMobileNetベースSSDによる『リアルタイム物体検出』を行いました。...
MXnetとGluonで物体検出ソフトを作る
MXNetで『カメラ・動画対応!物体検出ソフト』を作った -Yolo, SSD, Faster-RCNNモデル対応-こんにちは。 コンピュータビジョン(『ロボットの眼』開発)が専門の”はやぶさ”@Cpp_Learningです。 『深層学習に...

(GPUで遊んでみたい…)

まとめ

ChainerCVとCenterNetでキーポイントによる物体検出ソフトを作りました。カメラ・動画に対し、手軽に物体検出を試せるので良かったら遊んでみて下さい。

深層学習によるリアルタイム物体検出の分野はYoloやSSDの登場により、ある程度”成熟”した気がしていましたが…

キーポイント検出ベースの物体検出手法が登場したことで、まだまだ底が見えないと感じており、とても”ワクワク”しています。

今後も物体検出について調査したり、試したものについては、ブログ記事にまとめて公開したいと考えています。

はやぶさ
はやぶさ
本サイト:はやぶさの技術ノートが何かの役に立てば嬉しいです
LINEスタンプ配信中!

フクロウのLINEスタンプ

当サイトのマスコットキャラクター

「フクロウのくるる」が

LINEスタンプになりました!

勉強で疲れたあなたに癒しをお届け☆

お迎え待ってます(*・ω・)ノ♪

今すぐお迎えする

40個セットがたったの50コインとお得です