【NNabla】実践！Neural Network Librariesで学習から推論まで

こんにちは。

ディープラーニングお兄さんの”はやぶさ”@Cpp_Learningです。

前回、Sony製の深層学習フレームワーク “Neural Network Libraries（NNabla）” の環境構築について書きました↓

【NNabla】Windows（WSL）にNeural Network Librariesをインストールするこんにちは。ディープラーニングお兄さんの”はやぶさ”@Cpp_Learningです。深層学習フレームワークのChaine...

今回は、NNablaのPython APIを使って学習から推論までを実践していきます！

深層学習で解決する課題

本ブログ”はやぶさの技術ノート”では、機械学習のチュートリアル記事を無料公開しています。

公開している記事の中に「深層学習入門のチュートリアル記事」もあります↓

【深層学習入門】超実践！Chainerと深層学習でシステム解析する方法ディープラーニング入門の記事を書きました。難易度は入門レベルですが『深層学習フレームワークChainerを使ってシステム解析する』という実践的な内容に仕上げました。制御・解析・分析などの課題解決に深層学習を使いたい人や、深層学習をビジネスや研究で使い人にオススメの記事です。...

この記事の一部を引用したもの↓

本記事では深層学習フレームワーク”Chainer”を使って、非線形回帰モデルの生成を行いますが、重要なのは、どのフレームワークを使うかではなく、『深層学習でシステム解析が行える』という考え方です。

はい。この記事では”Chainer”を使って課題解決のソースコードを作成しました。

~~諸事情あって（？）社内で使用するフレームワークを選択できない人がいるかもしれませんが…~~

あまり何を使うかに拘らず、色々なフレームワークを使えると良い事があるかも(*･ω･)ﾉ♪

というわけで、本記事では”NNabla”を使って課題解決のソースコードを作成します。

本記事では『深層学習でシステム解析する方法』についての説明は割愛し、NNablaの説明に注力します。なので、本記事を読む前に、上記した”深層学習入門の記事”を読んでおくことをオススメします！

Neural Network Librariesの特徴

“Neural Network Libraries（NNabla）” の大部分（コア）はC++で実装してあり、Python APIとC++ APIを使うことで、直観的にニューラルネットワークを実装することができます。

つまり、Python・C++の両言語で学習と推論ができます。

はやぶさ

組込み機器で深層学習（推論）するならC++が良さそう！

と考えており、”Neural Network Libraries”はとても魅力的だと感じています！

【実践】NNablaと深層学習 -学習フェーズ-

C++ APIが気になりますが、今回はPython APIを使って学習と推論を行います。

import

nnablaの各モジュールをimportします。

import nnabla as nn
import nnabla.functions as F
import nnabla.parametric_functions as PF
import nnabla.solvers as S

import nnabla as nn

import nnabla.functions as F

import nnabla.parametric_functions as PF

import nnabla.solvers as S

その他、今回使用する数値演算モジュールなどもimportします。

import random
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

import random

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

ダミーの実験データ生成

訓練データ…つまり、ダミーの実験データを生成します。

# 実験データ用の配列
x = [] 
y = []
get_values = 0

for i in range(10):
    get_values = random.random()
    x.append([i])
    y.append([get_values])

# データフレーム生成
df = pd.DataFrame({'X': x, 
                   'Y': y})

# グラフ出力
plt.plot(x, y)
plt.title("Training Data")
plt.xlabel("input_x")
plt.ylabel("output_y")
plt.grid(True)

df

# 実験データ用の配列

x = []

y = []

get_values = 0

for i in range(10):

get_values = random.random()

x.append([i])

y.append([get_values])

# データフレーム生成

df = pd.DataFrame({'X': x,

'Y': y})

# グラフ出力

plt.plot(x, y)

plt.title("Training Data")

plt.xlabel("input_x")

plt.ylabel("output_y")

plt.grid(True)

NNabla用の訓練データ

乱数で実験データは生成しましたが、これまた解析が難しそうなデータですね…

”あなた”はxとyの相関”y=f(x)”の数式モデル”f(x)”を算出できますか？

非線形で非常に難しいですよね…？

なので、深層学習を使って数式モデル”f(x)”を算出してもらいます(*･ω･)ﾉ♪

list ⇒ numpy変換

訓練データをnumpy配列に変換します。

x = np.array(x)
y = np.array(y)

1 2	x = np.array(x) y = np.array(y)

NNabla用の変数定義

NNablaで学習および推論を行うために専用の変数を定義します。

batch_size = 1
xt = nn.Variable((batch_size, 1))
yt = nn.Variable((batch_size, 1))

batch_size = 1

xt = nn.Variable((batch_size, 1))

yt = nn.Variable((batch_size, 1))

ニューラルネットワーク設計

『１入力１出力で中間層のノード数が50 ⇒ 100』のニューラルネットワークを設計します。また、活性化関数（Activation Functions）には“relu”を採用します。

def MyChain(x):    
    h1 = F.relu(PF.affine(x, 50, name = "l1"))
    h2 = F.relu(PF.affine(h1, 100, name = "l2"))
    y = PF.affine(h2, 1, name = "l3")
    return y

def MyChain(x):

h1 = F.relu(PF.affine(x, 50, name = "l1"))

h2 = F.relu(PF.affine(h1, 100, name = "l2"))

y = PF.affine(h2, 1, name = "l3")

return y

たった５行で独自ニューラルネットワーク”MyChain”を設計できました。

NNablaによるニューラルネットワークの定義には、いくつか書き方があります。好みもありますが、↑の関数を使うコードがシンプルで扱いやすいと思います。

ニューラルネットワーク（NN）モデルの宣言

”MyChain(x)”を呼び出します。

t = MyChain(xt)

1	t = MyChain(xt)

引数に『NNabla用の変数”xt”』を使います。

【ニューラルネットワーク”MyChain”の特徴】

入力値はNNabla用の変数”xt”
戻り値”t”はニューラルネットワーク”MyChain”の推論結果

損失関数と最適化アルゴリズムを定義（＋パラメータ登録）

学習で使う”損失関数（Loss Functions）”と”最適化アルゴリズム（Solvers）”を定義します。

loss = F.mean(F.squared_error(t, yt))
solver = S.Adam()
solver.set_parameters(nn.get_parameters())

loss = F.mean(F.squared_error(t, yt))

solver = S.Adam()

solver.set_parameters(nn.get_parameters())

※”t”が推論値・”yt”が実験データ（教師データ）

損失関数に”MSE”を採用
最適化アルゴリズムに”Adam”を採用

学習

前回、色々と試してみて”学習回数：8万回”で上手くいくことが分かっていたので、今回も8万回学習させます。

loss_list = []
step = []
for i in range(0, 80000):
    n = random.randrange(10)
    xt.d = x[n]
    yt.d = y[n]
    
    loss.forward()
    solver.zero_grad()
    loss.backward()
    solver.update()
    loss_list.append(loss.d.copy())
    step.append(i)
    if i % 1000 == 0:  # Print for each 1000 iterations
        print(i, loss.d)

loss_list = []

step = []

for i in range(0, 80000):

n = random.randrange(10)

xt.d = x[n]

yt.d = y[n]

loss.forward()

solver.zero_grad()

loss.backward()

solver.update()

loss_list.append(loss.d.copy())

step.append(i)

if i % 1000 == 0: # Print for each 1000 iterations

print(i, loss.d)

あと学習回数：1,000回ごとにlossのログをとります。

【学習回数とloss】

0 0.00045301687
1000 3.0827425e-06
2000 1.8982263e-08
3000 4.5757124e-06
4000 2.4628455e-06
5000 0.0015066643
～
75000 6.3268146e-10
76000 3.8131259e-06
77000 9.984251e-07
78000 1.1723699e-07
79000 2.4714078e-07

ターミナルに↑のような出力をします。以下のコードで学習過程を可視化します。

plt.plot(step, loss_list)
plt.title("Training Data")
plt.xlabel("step")
plt.ylabel("loss")
plt.grid(True)
plt.show()

plt.plot(step, loss_list)

plt.title("Training Data")

plt.xlabel("step")

plt.ylabel("loss")

plt.grid(True)

plt.show()

深層学習による学習過程

徐々にlossが減少していき、”０”付近で収束しました。良いモデルを生成できた気がします。

以上で深層学習による学習フェーズ終了です。

【実践】NNablaと深層学習 -推論フェーズ-

次は、学習済みモデルを使って推論を行います。

NNabla用の変数定義とモデルの宣言

学習時と同様に「NNabla用の変数定義」および「モデルの宣言」を行います。

xm = nn.Variable((batch_size, 1))
ym = MyChain(xm)

1 2	xm = nn.Variable((batch_size, 1)) ym = MyChain(xm)

推論したいデータ（テストデータ）用意

適当に学習で使用していない未知のデータ（少数）を用意します。

xe = np.array([[0.5], [1.8], [2.3], [3.3], [4.5], [5.4], [6.3], [6.7], [7.4], [8.2]])

1	xe = np.array([[0.5], [1.8], [2.3], [3.3], [4.5], [5.4], [6.3], [6.7], [7.4], [8.2]])

今回は、最初からnumpy配列にしました。

推論

以下のコードで推論します。

ym_list = []

for i in xe:
    xm.d = i
    ym.forward()
    ym_list.append(ym.d.copy())

ym_list = []

for i in xe:

xm.d = i

ym.forward()

ym_list.append(ym.d.copy())

推論結果を”ym_list”に格納するコードがありますが、そのコードを除けば、たった３行で推論できます。

推論結果

“ym_list”の中身をターミナルに出力しても良いのですが、推論値だけで推論精度の良し/悪しを判断するのは難しいので、可視化します。

ym_test = np.reshape(ym_list, [10, 1])

plt.plot(x, y)
plt.plot(xe, ym_test, "ro")
plt.title("comparison")
plt.xlabel("input")
plt.ylabel("output")
plt.grid(True)
plt.show()