FC2カウンター FPGAの部屋 「ゼロから作る Deep Learning」をやってみる6(6章 学習に関するテクニック)

FPGAやCPLDの話題やFPGA用のツールの話題などです。 マニアックです。 日記も書きます。

FPGAの部屋

FPGAの部屋の有用と思われるコンテンツのまとめサイトを作りました。Xilinx ISEの初心者の方には、FPGAリテラシーおよびチュートリアルのページをお勧めいたします。

「ゼロから作る Deep Learning」をやってみる6(6章 学習に関するテクニック)

引き続き、オライリーの本「ゼロから作る Deep Learning」をやってみよう。コードはオライリー・ジャパンのoreilly-japan/deep-learning-from-scratch にあって、MITライセンスなので、これをjupyter notebook ででやりながらやってみることにした。この本はとっても良い本なので、購入されて勉強することをお勧めする。

今回は学習に関するテクニックを学習した。
パラメータの更新方法で、SGD, Momentum, AdaGrad, Adm を学習した。重みの初期値についてや、Batch Nomalization。
正則化では、過学習に陥る条件やその解消方法としてWeight decay, Dropout を学習した。またハイパーパラメータの最適化について学習した。すべて実際のコードを見て、結果も見られるのが良いと思う。
なお、結果が長い場合は、途中を省略している。

DLNN_55_170514.png
DLNN_56_170514.png
DLNN_57_170514.png
DLNN_58_170514.png
DLNN_59_170514.png
DLNN_60_170514.png
DLNN_61_170514.png
DLNN_62_170514.png
DLNN_63_170514.png
DLNN_64_170514.png
DLNN_65_170514.png
DLNN_66_170514.png
DLNN_67_170514.png
DLNN_68_170514.png
DLNN_69_170514.png
DLNN_70_170514.png
DLNN_71_170514.png
DLNN_72_170514.png
DLNN_73_170514.png
DLNN_74_170514.png
DLNN_75_170514.png
DLNN_76_170514.png
DLNN_77_170514.png
DLNN_78_170514.png
DLNN_79_170514.png
DLNN_80_170514.png
DLNN_81_170514.png
DLNN_82_170514.png
DLNN_83_170514.png
DLNN_84_170514.png
DLNN_85_170514.png
DLNN_86_170514.png
DLNN_87_170514.png
DLNN_88_170514.png
DLNN_89_170514.png
DLNN_90_170514.png
DLNN_91_170514.png
DLNN_92_170514.png
DLNN_93_170514.png
DLNN_94_170514.png
DLNN_95_170514.png
  1. 2017年05月14日 05:40 |
  2. DNN
  3. | トラックバック:0
  4. | コメント:0

コメント

コメントの投稿


管理者にだけ表示を許可する

トラックバック URL
http://marsee101.blog19.fc2.com/tb.php/3798-f050aa92
この記事にトラックバックする(FC2ブログユーザー)