”はやぶさ”の技術ノート¶

Chainerと深層学習で非線形回帰モデルを生成¶

非線形回帰モデルが生成できれば、ブラックボックス解析・リバースエンジニアリンなどに応用でき、ビジネスにも使えるよ！

import¶

数値演算やChainer用のモジュールをimportします

import math
import random
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

from chainer import Chain, Variable
import chainer.functions as F
import chainer.links as L
from chainer import optimizers

実験データ(ダミー)生成¶

解析したいシステムの入出力値をセンサ等で取得します。
今回は、入力値ｘ、出力値ｙの実験データ(ダミー)※を生成します。

※解析しやすい数値で”ドヤ顔”できないように、実験データは乱数で生成します

# 実験データ用の配列
x = [] 
y = []
get_values = 0

for i in range(10):
    get_values = random.random()
    x.append([i])
    y.append([get_values])

# データフレーム生成(列基準)
df = pd.DataFrame({'X': x, 
                   'Y': y})

# グラフ出力
plt.plot(x, y)
plt.title("Training Data")
plt.xlabel("input_x")
plt.ylabel("output_y")
plt.grid(True)

df

エンジニアリングとシステム解析¶

↑が解析対象の入出力関係です。

この対象をモデルベース開発などのエンジニアリングに活用するには、↑のデータを解析して対象システムの特性を把握する必要があります。

この”対象システムの特性を把握”というのは”対象の数式モデル（運動方程式）を算出”と同義と考えて良いよー。（←私的にはね）

システム解析と制御¶

もう少し噛砕いて説明すると、y = f(x)を算出できたということは、入力値xに対する出力値yが既知になったということです。

具体的には、このシステムに x = 5 を入力すれば、y = f(5)で出力値が得られるということ。

このように、システムの特性（入出力関係）を把握できれば、システムを制御できるようになります。

システム解析の課題¶

システム解析の基本は、システムを構成している部品を調べ、その部品の物理特性から運動方程式を導くのが王道です。

しかし、この手法には以下の問題があります。

構成部品を調べきれない
部品の組付けが特殊で物理法則が不鮮明
摩擦などの非線形成分の把握が困難

このような問題があるため、システムに適当な入力を与え、そのときの出力から実験的にシステムの特性を把握するのが有効です。

…で↑のような非線形な実験データが得られると、どーやって数式モデル（運動方程式）を算出するんだよ…という問題が発生する。

この問題解決に”深層学習”を使います！！

Chainer用に変換¶

実験値x,yをChainerで使えるようにnumpy配列のfloat32に変換する

x = Variable(np.array(x, dtype=np.float32))
y = Variable(np.array(y, dtype=np.float32))

# print(x)
# print(y)

ニューラルネットワーク設計¶

オリジナルのニューラルネットワーク『MyChain』を設計します！

『MyChain』の重み数は”100⇒50”とした。100と50にした理由は特になし。（無理やり理由を付けるならキリの良い数字にしました。）

また、活性化関数に悩んだら"relu"使うようにしています。

class MyChain(Chain):

    def __init__(self):
        super(MyChain, self).__init__(
            l1 = L.Linear(1, 100),
            l2 = L.Linear(100, 50),
            l3 = L.Linear(50, 1)
        )

    def predict(self, x):
        h1 = F.relu(self.l1(x))
        h2 = F.relu(self.l2(h1))
        return self.l3(h2)

ニューラルネットワーク（NN）モデルの宣言¶

↑で設計した『MyChaine』を使うための宣言をします。

# NNモデルの宣言
model = MyChain()
print(model)

<__main__.MyChain object at 0x000001F49597FB70>

学習¶

１万回の学習だと精度が悪かった（lossがあまり下がらなかった）ので、8万回学習させました！

学習過程のグラフがあるので、頑張って一番下までスクロールして下さい！

# 損失関数の計算（二乗誤差(MSE)を採用）
def forward(x, y, model):
    t = model.predict(x)
    loss = F.mean_squared_error(t, y)
    return loss

# 最適化アルゴリズムにAdamを採用
optimizer = optimizers.Adam()
optimizer.setup(model)

# パラメータの学習を繰り返す
loss_list = []
step = []
for i in range(0, 80000): # 10000
    loss = forward(x, y, model)
    step.append(i)
    loss_list.append(loss.data)
    # print("loss: {}".format(loss.data))
    optimizer.update(forward, x, y, model)

plt.plot(step, loss_list)
plt.title("Training Data")
plt.xlabel("step")
plt.ylabel("loss")
plt.grid(True)
plt.show()

考察¶

5.2万回付近で収束しかけていたloss値が急速に降下し、5.5万付近で収束している。

正直に言えば、このタイミングでloss値が下がった理由は分からない。。

ただし、この事実から分かることは、諦めずに学習させ続ければ、loss値は下がる！かも(?)ということ。

補足¶

lossの説明は割愛するが、今回のような回帰モデル生成の場合は、lossが低ければ低いほど良い学習結果という意味です。

(”過学習”や”汎化と特化”の話しは本稿では控える。一気に説明すると混乱させそうなので…)

plt.plot(step, loss_list)
plt.xlim([50000,56000])
plt.ylim([0,0.02])
plt.title("Training Data")
plt.xlabel("step")
plt.ylabel("loss")
plt.grid(True)
plt.show()

推論結果確認¶

結果を可視化して、効果を確認します。

可視化したグラフは上から以下の順に並んでいます。

教師データ（実験データ）入力x=0~9(整数)に対する出力yの結果（本記事の冒頭のグラフと同じ）
教師データと同じ入力xに対し『MyChain』が出力ymを推論した結果
未知の入力：xtに対し『MyChain』が出力ytを推論した結果
全ての結果を重ねた

また、コードの最後に1入力1出力(SISO)の推論結果も算出してます。

考察¶

教師データと同じ入力xに対する出力の推論結果は完璧ですね！
未知の入力に対する出力の推論結果も良好だと考えています

今回、ランダムな数値を出力するシステムに対し、推論を行いましたが、
実存するシステムが非線形な場合でも、もう少し滑らかな出力をする可能性が高いと考えています。

その点も考慮すれば、未知の入力に対する出力値（赤プロット）は許容できるレベルかと…

# 教師データ(実験データ)
plt.plot(x.data, y.data)
plt.title("Training Data")
plt.xlabel("x axis")
plt.ylabel("y axis")
plt.grid(True)
plt.show()

# 推論結果
ym = model.predict(x)
plt.plot(x.data, ym.data)
plt.title("Predict")
plt.xlabel("input x")
plt.ylabel("output ym")
plt.grid(True)
plt.show()

# 推論結果2
xt = [[0.5], [1.8], [2.3], [3.3], [4.5], [6.8], [7.2], [7.7], [8.0], [8.2]]
xt = Variable(np.array(xt, dtype=np.float32))
yt = model.predict(xt)
plt.plot(xt.data, yt.data, "ro")
plt.title("Predict2")
plt.xlabel("input xt")
plt.ylabel("output yt")
plt.grid(True)
plt.show()

# グラフを重ねる
plt.plot(x.data, y.data)
plt.plot(x.data, ym.data)
plt.plot(xt.data, yt.data, "ro")
plt.title("comparison")
plt.xlabel("input")
plt.ylabel("output")
plt.grid(True)
plt.show()

n = [[5.5]]
n = Variable(np.array(n, dtype=np.float32))
yn = model.predict(n)
print(yn)

variable([[0.01302186]])

まとめ¶

本稿では、あらゆるエンジニアリングに必須なシステム解析を深層学習で実施しました。

本記事が、ビジネスや研究で深層学習を使ってみたい！という人のヒントになれば嬉しい。

この記事で某企業のディープラーニングお兄さんから、日本のディープラーニングお兄さんになれたかな？

以上

	X	Y
0	[0]	[0.9359306127035991]
1	[1]	[0.7272181479130155]
2	[2]	[0.6882502622132236]
3	[3]	[0.697767368974156]
4	[4]	[0.9431445310820099]
5	[5]	[0.36546931040483477]
6	[6]	[0.04760083254750791]
7	[7]	[0.32741111161226544]
8	[8]	[0.8257475187592088]
9	[9]	[0.42672149118124725]