【NNabla】C++ APIと学習済みモデルによる推論

こんにちは。

ディープラーニングお兄さんの”はやぶさ”@Cpp_Learningです。

前回、Sony製の深層学習フレームワーク“Neural Network Libraries（NNabla）”のPython APIと学習済みモデル（MyChain.nnp）による推論を実践するチュートリアル記事を書きました。

【NNabla】Neural Network Librariesと学習済みモデルによる推論 -NNPファイル編-直観的にニューラルネットワークの実装ができるソニー製の深層学習フレームワーク”NNL”によるDeep Learning（ディープラーニング）入門チュートリアルを書きました。学習済みモデル（NNP）を使った推論が行えるPython APIのソースコードも公開しています。組み込みシステムと深層学習に関する説明もあるので、勉強にお役立て下さい。...

今回は、C++ APIと学習済みモデル（MyChain.nnp）による推論を実践します。

最初にPythonではなくC++で深層学習をする理由について説明します。

Contents

1 組み込みシステムと深層学習
2 深層学習とC++
3 Neural Network Libraries（NNabla）の特徴
4 NNabla C++ APIのインストール方法など
5 【実践】学習済みモデル(NNPファイル)とC++による推論
6 まとめ
7 【おまけ】Spresenseの紹介

組み込みシステムと深層学習

組み込みシステムの多くはリアルタイム処理・小型化・低消費電力を求められ、さらに低コスト化の要求もあるため、高性能プロセッサや大容量メモリの使用不可という制約があります。

また、組み込みシステムのソフトウェアはC言語あるいはC++で実装することも多いです。

はやぶさ

あとPythonよりC++の方が高速処理ができるのも重要ですね

そのため、組み込みシステムに深層学習を適用する場合、機械学習ライブラリが充実しているPythonではなく、C/C++によるソフトウェア開発を求められるケースがあります。

その他、様々な理由でC/C++で深層学習を実現したいという要求があります。

深層学習とC++

深層学習のサンプルソースを調査するとPythonで書かれたものが多く、C/C++のサンプルソースを探すのに苦労します。

深層学習フレームワークの中には、PythonとC++の両方をサポートしているものもありますが、Pythonで使用できる関数がC++では使えない！なんてこともあり、C++よりもPythonのサポートが手厚いと感じています。

（C++のサポートも充実してきているので、時間が解決してくれる気もしますが…）

C++自体の難しさもあり、C++で深層学習をするのはハードルが高いと感じています。

Neural Network Libraries（NNabla）の特徴

Sony製の深層学習フレームワーク“Neural Network Libraries”のコア部分はC++で実装されており、Python APIだけでなくC++ APIも用意してあります。

そのため、C++で深層学習の学習フェーズも推論フェーズも実現できます。

また「学習フェーズをPython」⇒「推論フェーズをC++」という一連の処理もシームレスに実現できます。

【学習フェーズ（Python API）】

Python APIでニューラルネットワークを設計
学習（ニューラルネットワークの”重み”を調整）
学習済みモデルをNNPファイルに保存

【推論フェーズ（C++ API）】

C++ APIで学習済みモデル（NNPファイル）を読込む
学習済みモデルへの入力値（センサ値など）を取得
推論（入力値に対する推論値を取得）
推論値を使って”ごにょごにょ”する（制御とか）

冒頭で少し説明した通り、組み込みシステムはプロセッサやメモリに制約があるため、学習を実行するのは辛い…

また、組み込みシステムは特定の処理に特化したシステムが多く、推論のみを実行できれば良いケースも多いです。

そのため…

はやぶさ

PythonとC++の連携が簡単かつ、C++のみで推論が実現できる”NNabla”はとても魅力的！

以降から、Python APIで生成した学習済みモデル（MyChain.nnp）を使い、C++ APIによる推論を実践します。

NNabla C++ APIのインストール方法など

最初に各種ライブラリをインストールして環境構築を行います。C++ APIを使うための環境構築については、以下の記事で説明しています。

【NNabla】C++ APIを使うための環境構築 -ライブラリのインストール方法など-こんにちは。ディープラーニングお兄さんの”はやぶさ”@Cpp_Learningです。以前 “Neural Network...

また、学習済みモデルの生成など”NNabal”の使い方に関する”Tips集”を作成・公開していますので、ご参考までに

【NNabla】Neural Network Librariesの使い方まとめこんにちは。ディープラーニングお兄さんの”はやぶさ”@Cpp_Learningです。仕事・プライベートどちらでも”深層学...

以降から学習済みモデル（MyChain.nnp）が手元にある前提で説明します。まだ、手元にnnpファイルがない人は”Tips集”を参考に作成してみて下さい(*･ω･)ﾉ♪

【実践】学習済みモデル(NNPファイル)とC++による推論

NNableのC++ APIと学習済みモデル(NNPファイル)を使って推論を行います。

先に作成するファイルについて説明しておきます。

ファイル	内容
MyChain.nnp	学習済みモデル
makefile	ビルド/実行用
nnabla_cpp.cpp	推論ソフト（C++バージョン）
nnabla_python.py	推論ソフト（Pythonバージョン）

ディレクトリツリーは以下の通りです。

workspace -- NNabla_cpp -- MyChain.nnp
                      | -- makefile
                      | -- nnabla_cpp.cpp
                      | -- nnabla_python.py

workspace -- NNabla_cpp -- MyChain.nnp

| -- makefile

| -- nnabla_cpp.cpp

| -- nnabla_python.py

※workspaceとNNabla_cppはディレクトリ

なお、今回使用する学習済みモデル”MyChain.nnp”は、1入力1出力（SISO系）の非線形システムの同定モデルです。

【深層学習】推論ソフト（C++バージョン）

C++と学習済みモデル”MyChain.nnp”で推論するソースコード”nnabla_cpp.cpp”が以下です。

#include <nbla_utils/nnp.hpp>

#include <iostream>
#include <string>
#include <cmath>

int main(int argc, char *argv[]) {
	nbla::CgVariablePtr x, y;
	float xt;
	const float *y_data;

	// Create a context (the following setting is recommended.)
	nbla::Context cpu_ctx{{"cpu:float"}, "CpuCachedArray", "0"};
	nbla::Context ctx = cpu_ctx;

	// Create a Nnp object
	nbla::utils::nnp::Nnp nnp(ctx);

	// Set nnp file to Nnp object
	nnp.add("MyChain.nnp");

	// Get an executor instance.
	auto executor = nnp.get_executor("runtime");
	executor->set_batch_size(1); // Use batch_size = 1

	// Get input data as a CPU array.
	x = executor->get_data_variables().at(0).variable;
	float *data = x->variable()->cast_data_and_get_pointer<float>(ctx);

	// Predict x = 0~9
	for(int i = 0; i < 10; i++){
		// set input data
		xt = i;
		*data = xt;

		// execute
		executor->execute();
		y = executor->get_output_variables().at(0).variable;
		y_data = y->variable()->get_data_pointer<float>(ctx);

		// print predict result
		std::cout << "y = MyChaine(x): " << "x = " << xt << ", y = " << y_data[0] << std::endl;
	}

	return 0;
}

#include <nbla_utils/nnp.hpp>

#include <iostream>

#include <string>

#include <cmath>

int main(int argc, char *argv[]) {

nbla::CgVariablePtr x, y;

float xt;

const float *y_data;

// Create a context (the following setting is recommended.)

nbla::Context cpu_ctx{{"cpu:float"}, "CpuCachedArray", "0"};

nbla::Context ctx = cpu_ctx;

// Create a Nnp object

nbla::utils::nnp::Nnp nnp(ctx);

// Set nnp file to Nnp object

nnp.add("MyChain.nnp");

// Get an executor instance.

auto executor = nnp.get_executor("runtime");

executor->set_batch_size(1); // Use batch_size = 1

// Get input data as a CPU array.

x = executor->get_data_variables().at(0).variable;

float *data = x->variable()->cast_data_and_get_pointer<float>(ctx);

// Predict x = 0~9

for(int i = 0; i < 10; i++){

// set input data

xt = i;

*data = xt;

// execute

executor->execute();

y = executor->get_output_variables().at(0).variable;

y_data = y->variable()->get_data_pointer<float>(ctx);

// print predict result

std::cout << "y = MyChaine(x): " << "x = " << xt << ", y = " << y_data[0] << std::endl;

}

return 0;

}

このソースコードでx = 0～9整数を”MyChain(x)”に入力し、出力値yを推論します。

makefile

ビルドおよび実行コマンドを手打ちするのは大変なので、以下のmakefileを作成します。

LDFLAGS = -L/usr/local/lib -lnnabla -lnnabla_utils

all: nnabla_cpp.cpp
	$(CXX) -std=c++11 -O -o nnabla_cpp nnabla_cpp.cpp -lnnabla -lnnabla_utils

run:
	LD_LIBRARY_PATH=/usr/local/lib ./nnabla_cpp

clean:
	rm -f nnabla_cpp

LDFLAGS = -L/usr/local/lib -lnnabla -lnnabla_utils

all: nnabla_cpp.cpp

$(CXX) -std=c++11 -O -o nnabla_cpp nnabla_cpp.cpp -lnnabla -lnnabla_utils

run:

LD_LIBRARY_PATH=/usr/local/lib ./nnabla_cpp

clean:

rm -f nnabla_cpp

ビルド＆実行

以下のコマンドで”NNabla_cpp”に移動

cd NNabla_cpp

以下のコマンドでビルド

make

nnabla_cppという実行ファイルが生成できたら成功です。

以下のコマンドで実行

make run

一連の流れを実施したときのターミナル画面は以下の通りです。

C++で推論できました！

【エラーレポート】ライブラリ（soファイル）のリンク

makeでビルドが成功し、実行ファイル”nnabla_cpp”を生成できたら、以下のコマンドで実行できるはずでした！

./nnabla_cpp

しかし、以下のエラーメッセージが表示されました。

./nnabla_cpp: error while loading shared libraries: libnnabla.so: cannot open shared object file: No such file or directory

これは、nnabla_cppで使用するNNablaライブラリ（SOファイル）”libnnabla.so”が見つからない！と怒られています。

以下のコマンドでnnabla_cpp（実行ファイル）のリンクを確認することができます。

ldd nnabla_cpp

このコマンドで”libnnabla.so”が表示されればリンク済み、未表示の場合は上記したエラーが表示されます。

今回の場合は、以下のNNablaライブラリ（soファイル）をリンクする必要がありました。

libnnabla.so
libnnabla_utils.so

そのため、makefileで”make run”コマンドを作成し、/usr/local/libに保存されたライブラリ（soファイルなど）をリンクして実行できるようにしました。

LD_LIBRARY_PATH=/usr/local/lib ./nnabla_cpp

ライブラリ（SOファイル）をリンクするシンプルな方法を説明しました。NNablaに限らず汎用的に使えるテクニックなので、ご参考までに

【深層学習】推論ソフト（Pythonバージョン）

比較のためにPythonバージョンの推論ソースコード”nnabla_python.py”も作成して実行します。

import nnabla as nn
import nnabla.functions as F
import nnabla.parametric_functions as PF
from nnabla.utils.nnp_graph import NnpLoader

import numpy as np
import time

batch_size = 1
x = nn.Variable((batch_size, 1))
y = nn.Variable((batch_size, 1))

# Read a .nnp file.
nnp = NnpLoader("MyChain.nnp")

# Assume a graph `graph_a` is in the nnp file.
net = nnp.get_network("MyChain", batch_size)

start = time.time()

# Predict x = 0~9
for i in range(10):
    x.d = i
    # `x` is an input of the graph.
    x = net.inputs['x']
    # 'y' is an outputs of the graph.
    y = net.outputs['y']
    y.forward()
    # print predict result
    print('y = MyChaine(x): x = %d, y = %f' %(x.d.copy(), y.d.copy()))

predict_time = time.time() - start
# print ("predict_time:{0}".format(predict_time) + "[sec]")
print ("predict_time:%f" %(predict_time * 1000) + "[msec]")