機械学習 PR

深層学習による画像処理の概要からChainerCVとFCISで『物体検出ソフト』を作るまで

FCIS(インスタンス・セグメンテーション)
記事内に商品プロモーションを含む場合があります

こんにちは。

コンピュータビジョン(『ロボットの眼』開発)が専門の”はやぶさ”@Cpp_Learningです。

前回ChainerCVYoloを使ったリアルタイム物体検出ソフトを作る』という記事を書きました↓

ChainerCVとYoloでリアルタイム物体検出
ChainerCVとYoloで『カメラ・動画対応!リアルタイム物体検出ソフト』を作るChainerファミリ一つChainerCVのYoloサンプルソースをカメラ・動画に対応できるよう改造した「リアルタイム物体検出ソフト」を開発した。その開発手順を紹介します。...

本記事では、より高性能な物体検出アルゴリズムのFCISを使い、ChainerCVとFCISで『カメラ・動画対応!”高性能”物体検出ソフト』の作り方を説明します。ソースコードだけ見せて!という人は目次から『FCIS_Chainer_Video.py開発』の項目に飛んでください。

また、

物体検出アルゴリズムのYoloFCISは何が違うの?

という人にも分かるように『深層学習による画像処理の種類』を先に説明しますので、こちらも不要な場合は飛ばして下さいな。

なお、本記事の最後に『”はやぶさ”からのお願い』という項目がありますので、もしお時間あれば、最後まで読んで頂けると嬉しいです(*・ω・)ノ♪

深層学習による画像処理の種類

はじめに深層学習による画像処理の種類について簡単に説明します。

画像分類

『画像分類』とは、画像に移っている物体が、事前に学習した物体のどれに一番近いかを分類する処理のことです↓

フクロウと人

【一致度リスト】

  • フクロウ:99%
  • 鳥:95%
  • 猫:77%
  • 犬:42%
  • 靴:90%
  • 人:86%

”フクロウの画像”を事前に学習していれば、フクロウとの一致率が一番高く出ますが、フクロウ・はやぶさ・インコ・ニワトリなどを一括りで”鳥の画像”として学習させた場合は、鳥との一致度が一番高く出ます。(この場合、そもそも”フクロウ”として学習していないので、フクロウとの一致度は算出されません。)

このように学習させるデータ(訓練データ)と訓練データの分類(ラベル付け)の仕方によって結果が変わってきます

画像分類とは、訓練データと訓練データのラベルの付け方により、一致度の結果が変わります。

物体検出

上記した『画像分類』では、物体が画像上のどの位置にいるかまでは判断できません物体の位置まで把握したい場合は、Yoloなどの物体検出アルゴリズムを採用します。

物体検出(Yolo)

物体の位置を検出できるため、バウンディングボックス(アンカーボックスとも呼ぶ)で物体を囲うことができます。また、物体の分類(ラベル名)と一致度も算出されます。

一致度に閾値を設定することでバウンディングボックスの描画なし(検出なし)とすることもできます。

今回の場合、靴周辺にはバウンディングボックスが描画されませんでした。

深層学習を使わない物体検出もありますが、深層学習を使った物体検出の方が基本的には高性能です。以降でも『物体検出』という言葉が出てきますが、全て深層学習を使った『物体検出』と思って頂いて構いません。

『画像分類』同様、訓練データとラベルの付け方により、一致度の結果が変わります。

物体の位置まで検出したい場合は、物体検出アルゴリズムを採用します。

セマンティック・セグメンテーション

上記した『物体検出』には様々な手法がありますが、良くも悪くも物体の位置を大まかにしか検出できません。

目的次第では、画素(pixel)単位で『分類』を行いたい場合があります。そんなときは、『セマンティック・セグメンテーション』を使います。実際どんなものかは、言葉で説明するより見た方が早いですね↓

セマンティック・セグメンテーション

上が入力画像、下が処理後の結果画像です。画素(pixel)1つ1つを分類し色付けすることができます。

今回は自動運転を意識して学習された”学習済みモデル”を採用してみました。

人・自動車・道路・壁を構成する画素(pixel)がちゃんと分類(色分け)されていますね。

(この”学習済みモデル”はフクロウ等の動物の学習はしていないので、動物のラベル(色分け)は存在しません!)

  • セマンティック:情報を解釈する/意味付けする
  • セグメンテーション:分類する/小さい単位に分ける
  • セマンティック・セグメンテーション:画素(単位)で意味付けする/分類する

『セマンティック・セグメンテーション』の意味は↑の通りですが、拡大解釈で『シーン理解』という意味で使われることもあります。

確かに、”あるシーンを切り取った絵”=”画像”と呼ぶなら、その”画像”を構成する画素(pixel)1つ1つを意味付けして分類できる⇒『シーンを理解した』といえそうです。

今回の入力画像の場合は、『このシーンに人・自動車・道路・壁が存在することを理解できた』といえます。自動運転やロボットの遠隔操作に使えそうですね!

画像を画素(pixel)単位で分類したい(シーンを理解したい)場合は、セマンティック・セグメンテーションを使う。

インスタンス・セグメンテーション

『セマンティック・セグメンテーション』は画素(pixel)単位で分類(シーン理解)できる素晴らしい技術ですが、同じラベルの物体が重なっている場合、物体同士の境界が分からなくなります。

例えば、『セマンティック・セグメンテーション』の入力画像を見ないで、結果画像だけを見たとき、自動車が何台あるか分かりますか?

セマンティック・セグメンテーション

見方によっては、リムジンのような長ーーい自動車が路肩に2台、遠方に大きなバンが1台あるように見えます。

目的次第では、『物体検出』のように物体1つ1つの位置を検出し、かつ物体を画素(pixel)単位で『分類』したいときがあります。そんなときに使うのが『インスタンス・セグメンテーション』です。これも言葉で説明するより見た方が早いですね↓

インスタンス・セグメンテーション

『物体検出』のように物体1つ1つの位置を検出し、かつ物体を構成している画素(pixel)を分類(色分け)できています。

今回の場合、一部検出できなかった自動車もありますが、リムジンのような長ーーい自動車があるという勘違いはしないはずです。

また、この図ではバウンディングボックスが描画してありますが、ないものもあります。

  • インスタンス:実体と説明することが多いが、この場合はオブジェクト…つまり”物体”と考える方が(個人的には)しっくりきます
  • インスタンス・セグメンテーション:物体(単位)意味付けする/分類する

以上から『インスタンス・セグメンテーション』は『物体検出』と『セマンティック・セグメンテーション』のハイブリッドと考えると、しっくりくると思います。

物体1つ1つの位置を検出し、かつ物体を構成している画素(pixel)を分類したい場合は、インスタンス・セグメンテーションを使います。

まとめ -深層学習による画像処理の種類-

以上が『深層学習による画像処理の種類』でした。ただし、この分野は発展途上です。私が知らない技術やイノベーションにより新しい手法が開発される可能性も高いです。

『深層学習による画像処理』に興味がある方は、本記事に書いたものが全てと思わず、常にリサーチし続けて頂ければと思います(*・ω・)ノ♪

また、上記した4つ画像処理なら…

インスタンス・セグメンテーションが最も優れてるの?

と勘違いしそうですが、ケースバイケースだと考えています。

第2部で『インスタンス・セグメンテーションによる物体検出ソフト』の作り方を説明しますが、実際に作ってみると”ある問題”が発生することが分かりました。。

”ある問題”というのは、本記事の最後『”はやぶさ”からのお願い』とも関係があるので、気になる方は続きをどうぞ!

(第1部 完)

━━━━━━━━━━━━━━━━

以降から第2部…に入る前にコーヒーブレイクを兼ねた”余談”を書きましたので、お時間ある人は読んで頂ければと思います(もちろん読み飛ばしOK!です)。

余談 -言葉の定義について- (読み飛ばしOK!)

『インスタンス・セグメンテーション』のところで、”しっくり”という言葉を使いました。

”しっくり”ってなんだよ!

と思った人がいるかもしれないので、簡単に補足します。

言葉の正確な定義を理解することはとても重要ですが、英語を無理やり和訳すると”しっくり”こない表現になることがあります。ニュアンスは伝わるのに、日本語で上手く表現できない!という経験ありませんか?

日本語⇒英語でも似たような問題があります。今でこそ浸透していますが、日本語の『もったいない』を正確に表現する英語はなかったそうです。なので、意味も言葉もそのまま輸入した『MOTTAINAI』という言葉が誕生しました。

今回の場合、『インスタンス』という単語を「物体」と表現しました。正確な言葉の定義とは少し違いますが、個人的に違和感なく”しっくりきた”表現「物体」を採用しました。

AI(人工知能)などの抽象的な概念についても同じことが言えます。

この技術ってAIなの機械学習なの?

など、言葉の定義を議論したがる人がいますが、それってそんなに重要なことかな?

重要なのは中身のアルゴリズムをきちんと理解して…

はやぶさ
はやぶさ
この課題のときは、このアルゴリズムが使えるな!

という解決策を考えられることだとディープラーニングお兄さんは思うのです(*・ω・)ノ♪

繰り返しますが、言葉の正確な定義を理解することはとても重要です。しかし、それを気にし過ぎて、前に進めなくなるのは『MOTTAINAI』と思うのです。

チームメンバーが使う言葉の定義がバラバラなのは問題なので、一度メンバーで話し合って、言葉の定義を確認したら、もう言葉の定義については必要以上に追求せず…

はやぶさ
はやぶさ
「中身のアルゴリズム」や「課題に対する解決策」について熱く議論してほしいなぁ

…と思うディープラーニングお兄さんでした!

(余談 完)

以降から 第2部 -FCISによる”高性能”物体検出ソフト作り方- を説明します。続きが気になる人は読んでみて下さいな。

スポンサーリンク

FCISによる”高性能”物体検出ソフトの開発手順

本記事の冒頭で以下の記事を紹介しました↓

ChainerCVとYoloでリアルタイム物体検出
ChainerCVとYoloで『カメラ・動画対応!リアルタイム物体検出ソフト』を作るChainerファミリ一つChainerCVのYoloサンプルソースをカメラ・動画に対応できるよう改造した「リアルタイム物体検出ソフト」を開発した。その開発手順を紹介します。...

Yoloは興味ない…という人も↑の記事を一読して頂けると嬉しいです。環境構築・開発手順・ソースコードの構造まで共通しているため、以降からは↑で説明した部分を割愛して、ポイントを絞った説明にしたいと思います。

FCISとは

FCISとは、Fully Convolutional Instance-aware Semantic Segmentationの略称です。

Instance-aware Semantic Segmentationは第1部で説明した通りです。

Fully Convolutionalまたは Fully Convolutional Networksというのは、CNN(Convolutional Neural Network)の全てがConvolutional Layerのみで構成されている…という意味です。

横文字だらけで頭が痛くなりそうですね。。

要するに、『畳み込み層のみで構成されたニューラルネットワークでインスタンス・セグメンテーション』という意味です。(言葉の正確な定義は一度は伝えておかねば!)

FCSI:畳み込み層のみで構成されたNNでインスタンス・セグメンテーション

本稿ではFCISの詳細説明を割愛しますが、勉強したい人のために論文載せておきますね↓

FCIS_Chainer_Video.py開発

第2部の冒頭で説明した通り、環境構築から開発手順まで全てYoloの記事で説明済みなので割愛し、いきなりベースになるソフトを紹介!

ChainerでFCISを動かすサンプルソースは、ChainerCV公式Githubから取得できます。このサンプルソースYoloの記事で作った『物体検出ソフト』を組み合わせて、以下のソースコード”FCIS_Chainer_Video.py”を作りました。

FCIS_Chainer_Video.pyのポイント解説

Yoloの記事で作った『物体検出ソフト』と↑のソースコードの共通点が”多い”ことが分かると思います。むしろ構造が同じといっても過言じゃないと思います。

なので、共通点以外のポイントのみ説明します。

今回はセグメンテーションなので、物体を構成する画素(pixel)を色分けするためのマスク画像を生成します。マスク画像に関連のあるフローは以下の通りです。

  1. コードの63~67行目でインスタンス・セグメンテーションの演算
  2. コードの74~77行目でマスク画像の定義
  3. コードの115~123行目でマスク画像をオーバーレイ

以下がオーバーレイのイメージです。

FCIS(インスタンス・セグメンテーション)

マスク画像を生成して入力画像にオーバーレイ

エラーレポート

ChaineCVのサンプルソースは、OpenCV未使用ですが、カメラ・動画に対応するためOpenCVを採用しました。

なので、マスク画像のオーバーレイ処理もOpenCV仕様に変更したのですが…最初にコードを書いたとき、エラーが出ました。

原因を調べてみると、マスク画像が4チャンネル(以下 ch)だったので、その他の3ch画像とはオーバーレイできないことが分かりました。

コードの160~169行目にch確認用のコードを消さずに残しておきます。(不要な場合は消して下さい。)

一般的にカラー画像はRGB成分の3chですが、透明成分を加えた4ch画像もあります。

下図マスク画像の背景は”黒”に見えますが、PC上では”透明”な背景として処理されています。

FCIS(インスタンス・セグメンテーション)

対策として、3chのフクロウ画像を4chに拡張してから、オーバーレイしました。改めて、マスク画像に関連のあるフローおよびソースコードを確認してみて下さい。

  • RGB成分に加え、透明成分を持つ4ch画像があります
  • ch数の異なる画像はオーバーレイできない

FCIS_Chainer_Video.pyの使い方

”FCIS_Chainer_Video.py”の使い方もYoloの記事で作った『物体検出ソフト』とほとんど同じですが、一応デフォルト設定時での起動は以下の通りです。

デフォルト設定での起動例

python FCIS_Chainer_Video.py 動画ファイルパス

動画ファイルパスのところを”0”にするとUSBカメラやノートPC内蔵カメラの映像を使って『インスタンス・セグメンテーション』を実行します。

動作確認

FCIS_Chainer_Video.pyを動作確認した映像のキャプチャ画像が以下です。

FCIS(インスタンス・セグメンテーション)

【おまけ】FCIS_Chainer_Video.pyのカスタム例

今回もカスタム例を少し紹介したいと思います。

box追加と/色の変更

今回もモデルをしてくれたフクロウの”くるる”@kururu_owlちゃんから一言…

くるる
くるる
青色なんか毒々しくない?

だそうです。言われてみれば。。

くるる
くるる
この前みたいな綺麗な緑色が良かった!

という”くるる”ちゃんのお願いを断れるわけがない!!

はやぶさ
はやぶさ
分かった!今回も単色モードを追加します!

ソースコードの115~123行目がマスクの色設定なので、この部分を少し いじって、125~132行目に単色モードを追加しました。

  • Draw msk 1:デフォルト(インスタンスごとに色が変化)
  • Draw msk 2:単色(緑)

好きな方を選んでコメントアウトしてください。

本記事の第1部をじーーと見つめながら”くるる”ちゃんが一言

くるる
くるる
バウンディングボックスもほしい…

ロックオンみたで「かっこよかったなぁ」・「かっこいいのにね~」を繰り返す”くるる”が今日も可愛い!

はやぶさ
はやぶさ
分かった!バウンディングボックスも追加します!

ソースコードの92~93行目にバウンディングボックス描画用のコードを埋め込んでおいたので、必要に応じてコメントアウトしてください。

また、前回同様バウンディングボックスの左上にラベル表示するコードも埋め込んでおきました。

  • text_pos 1:デフォルト(インスタンスの中心にラベル表示)
  • text_pos 2:バウンディングボックスの左上にラベル表示

好きな方を選んでコメントアウトしてください。

バウンディングボックスあり/単色モードで動かしたときのキャプチャ画像が以下です。

FCIS(インスタンス・セグメンテーション)
くるる
くるる
わーい!バブルスライムみたいで、カッコいい!

バブルスライムって毒あるやつじゃ…

はやぶさ
はやぶさ
まぁ…”くるる”ちゃんが喜んでるならいっか!笑

(第2部 完)

”はやぶさ”からのお願い

最後までお付き合い頂き、ありがとうございました!”お願い”については、ここまで読んで薄々気づいている人もいると思いますが、出力結果の映像がない…

第8世代インテルCoreプロセッサ(Core i5–8250U)が載ったプライベートPCで動作確認しましたが、画像1枚を処理するのに数分かかる…

そのため、録画映像が作成できず、本記事では出力結果のキャプチャ画像のみ載せました。GPUマシンさえあれば…

本記事で説明したソースコード”FCIS_Chainer_Video.py”は以下の環境で動作確認しています。

  • Chainer 4.3.0
  • ChainerCV 0.10.0
  • OpenCV 3.4.1

↑に加えCUDA環境も整えれば、ソースコードの変更なしでGPUを使った動作確認ができるはずです!私の代わりに、このソースコードで遊んでください!!

もし、お手数でなければTwitterやブログ等で「GPUならリアルタイムで動いたよー」などと書いてくれると、本当に嬉しい!

(欲を言えば、このソースコードがちゃんと動くところを見たいし、出力結果の映像をシェアさせてほしいけど、そこまでは図々しいお願いはできない…)

今回のような”処理速度の問題”があるため『インスタンス・セグメンテーション』が最も優れているという評価は難しいかと…

今回の件に限らず『精度と処理速度のトレードオフ関係』に悩んでるエンジニアは多いのではないでしょうか?

良い落としどころを見つけたいですね!

(完)

追記:補足 -専門用語について-

本記事で特に説明もなく、画素(pixel)やオーバーレイという単語を使ってきましたが…

画素(pixel)ってなんだっけ?
「オーバーレイ」と「上書き」の違いが分からない…

という人は下記の記事を読んでみて下さいな↓

ソーベルフィルタ
【深層学習入門】画像処理の基礎(画素操作)からCNN設計まで画像処理の基礎(画素操作)から深層学習のCNN設計までカバーした記事です。画像処理にはOpenCVとPythonを使用しました。画像処理入門、深層学習入門、どちらも取り組みたい人におすすめの記事です。...

以上

 

PICK UP BOOKS

  • 数理モデル入門
    数理モデル
  • Jetoson Nano 超入門
    Jetoson Nano
  • 図解速習DEEP LEARNING
    DEEP LEARNING
  • Pythonによる因果分析
    Python