FC2カウンター FPGAの部屋 「ゼロから作るDeep Learning」の畳み込みニューラルネットワークのハードウェア化5(再度学習)

FPGAやCPLDの話題やFPGA用のツールの話題などです。 マニアックです。 日記も書きます。

FPGAの部屋

FPGAの部屋の有用と思われるコンテンツのまとめサイトを作りました。Xilinx ISEの初心者の方には、FPGAリテラシーおよびチュートリアルのページをお勧めいたします。

「ゼロから作るDeep Learning」の畳み込みニューラルネットワークのハードウェア化5(再度学習)

「ゼロから作るDeep Learning」の畳み込みニューラルネットワークのハードウェア化4(Vivado HLS1)”の続き。

前回、畳み込み層のカーネルが30個の畳み込みニューラルネットワークをVivado HLS で合成を行ったところ、BRAM_18K がオーバーフローしてしまった。今回は、畳み込み層のカーネルを10個にして畳み込みニューラルネットワークを学習させてみよう。

畳み込み層のカーネルを10個するのは、どうやるか?というと、畳み込み層のカーネル数を指定するパラメータのfilter_num を 10 に指定した。

conv_param = {'filter_num': 10,


nn_fpga_ch7_14_170619.png
nn_fpga_ch7_15_170619.png
精度は98.69 % となって、十分な精度が出ている。これで十分なようだ。

nn_fpga_ch7_16_170619.png
固定小数点数用に量子化した値も 98.69 % で同じなので、十分だ。
これで行くことにしよう。
そうそう、各層の重みとバイアスをもう一度出力しよう。
それぞれの重みとバイアスのキャプチャ図を貼っておく。
nn_fpga_ch7_17_170619.png
nn_fpga_ch7_18_170619.png
nn_fpga_ch7_19_170619.png
nn_fpga_ch7_20_170619.png
nn_fpga_ch7_21_170619.png
nn_fpga_ch7_22_170619.png

最後に畳み込み層のカーネルが10個の畳み込みニューラルネットワークをトレーニングするPython コードを貼っておく。

# train_convnet.py
# 2017/06/06 FPGAによるハードウェア化をにらんで、量子化を行う by marsee
# 元になったコードは、https://github.com/oreilly-japan/deep-learning-from-scratch にあります。
# 改変したコードもMITライセンスとします。 2017/06/19 by marsee

# coding: utf-8
import sys, os
sys.path.append(os.pardir)  # 親ディレクトリのファイルをインポートするための設定
import numpy as np
import matplotlib.pyplot as plt
from dataset.mnist import load_mnist
from trainer_int import Trainer
from simple_convnet_int import SimpleConvNet

# データの読み込み
(x_train, t_train), (x_test, t_test) = load_mnist(flatten=False)

# 処理に時間のかかる場合はデータを削減 
#x_train, t_train = x_train[:5000], t_train[:5000]
#x_test, t_test = x_test[:1000], t_test[:1000]

#max_epochs = 5
max_epochs = 20

network = SimpleConvNet(input_dim=(1,28,28), 
                        conv_param = {'filter_num': 10, 'filter_size': 5, 'pad': 0, 'stride': 1},
                        #conv_param = {'filter_num': 30, 'filter_size': 5, 'pad': 0, 'stride': 1},
                        hidden_size=100, output_size=10, weight_init_std=0.01)
                        
trainer = Trainer(network, x_train, t_train, x_test, t_test,
                  epochs=max_epochs, mini_batch_size=100,
                  optimizer='Adam', optimizer_param={'lr': 0.001},
                  evaluate_sample_num_per_epoch=1000)
trainer.train()

'''x_testn, t_testn = x_test[:500], t_test[:500]
test_accn = network.accuracy_msg(x_testn, t_testn)
print(test_accn)'''

'''train_acc = network.accuracy(x_train, t_train)
test_acc = network.accuracy(x_test, t_test)
print(train_acc, test_acc)
train_acc_int = network.accuracy_int(x_train, t_train)'''
#test_acc_int = network.accuracy_int(x_test, t_test)
#print(test_acc_int)

# パラメータの保存
network.save_params("params.pkl")
print("Saved Network Parameters!")

# グラフの描画
markers = {'train': 'o', 'test': 's'}
x = np.arange(max_epochs)
plt.plot(x, trainer.train_acc_list, marker='o', label='train', markevery=2)
plt.plot(x, trainer.test_acc_list, marker='s', label='test', markevery=2)
plt.xlabel("epochs")
plt.ylabel("accuracy")
plt.ylim(0, 1.0)
plt.legend(loc='lower right')
plt.show()

  1. 2017年06月19日 04:14 |
  2. DLNN
  3. | トラックバック:0
  4. | コメント:0

コメント

コメントの投稿


管理者にだけ表示を許可する

トラックバック URL
http://marsee101.blog19.fc2.com/tb.php/3833-f7f35e03
この記事にトラックバックする(FC2ブログユーザー)