FC2カウンター FPGAの部屋 白線追従走行用畳み込みニューラルネットワークの製作8(再度トレーニング、ラベル・ファイルの作成)

FPGAやCPLDの話題やFPGA用のツールの話題などです。 マニアックです。 日記も書きます。

FPGAの部屋

FPGAの部屋の有用と思われるコンテンツのまとめサイトを作りました。Xilinx ISEの初心者の方には、FPGAリテラシーおよびチュートリアルのページをお勧めいたします。

白線追従走行用畳み込みニューラルネットワークの製作8(再度トレーニング、ラベル・ファイルの作成)

白線追従走行用畳み込みニューラルネットワークの製作7(学習2)”の続き。

白線追従走行用畳み込みニューラルネットワークの製作7(学習2)”で、精度が 71 % だったので、もう一度、白線追従直進走行用の画像データをもう一度取得して、再度トレーニング・ファイルとラベル・ファイルを作成することにした。(前回のトレーニング・ファイルとラベル・ファイルを作成は、”白線追従走行用畳み込みニューラルネットワークの製作3(トレーニング、ラベル・ファイルの作成)”を参照のこと)

画像データを取得したときの条件を示す。

ストレート(straight)
0: 角度 0 度、白線真ん中
1: 角度 0 度、左白線の内側エッジに左車輪の真ん中がくるように置いた
2: 角度 0 度、右白線の内側エッジにに右車輪の真ん中がくるように置いた
3: 角度 -5度、白線真ん中
4: 角度 +5 度、白線真ん中
5: 角度 -2 度、白線真ん中
6: 角度 +2 度、白線真ん中
7: 角度 -2 度、左白線の内側エッジにに左車輪の真ん中がくるように置いた
8: 角度 +2 度、右白線の内側エッジにに右車輪の真ん中がくるように置いた
9: 角度 0 度、左白線の真ん中に左車輪の真ん中を置いた
10: 角度 0 度、右白線の真ん中に右車輪の真ん中を置いた

左ターン(left_turn)
0: 角度 0 度、右白線外側のエッジに右車輪の真ん中がくるように置いた
1: 角度 0 度、右車輪逸脱車体1/4
2: 角度 +5 度、右車輪逸脱車体1/4
3: 角度 +10 度、右車輪逸脱車体1/4
4: 角度 0 度、右車輪逸脱車体1/2
5: 角度 +5 度、右車輪逸脱車体1/2
6: 角度 +10 度、白線真ん中
7: 角度 +15 度、白線真ん中
8: 角度 +20 度、白線真ん中
9: 角度 +5 度、右白線の内側エッジにに右車輪の真ん中がくるように置いた
10: 角度 +10 度、右白線の内側エッジにに右車輪の真ん中がくるように置いた

右ターン(right_turn)
0: 角度 0 度、左白線外側のエッジに左車輪の真ん中がくるように置いた
1: 角度 0 度、左車輪逸脱車体1/4
2: 角度 -5 度、左車輪逸脱車体1/4
3: 角度 -10 度、左車輪逸脱車体1/4
4: 角度 0 度、左車輪逸脱車体1/2
5: 角度 -5 度、左車輪逸脱車体1/2
6: 角度 -10 度、白線真ん中
7: 角度 -15 度、白線真ん中
8: 角度 -20 度、白線真ん中
9: 角度 -5 度、左白線の内側エッジにに左車輪の真ん中がくるように置いた
10: 角度 -10 度、左白線の内側エッジにに左車輪の真ん中がくるように置いた

これで取得した画像データを示す。
wlt_cnn_43_170820.png

VirtualBox 上のUbuntu 16.04 でVivado HLS 2016.4 を立ち上げて、~/Vivado_HLS/PYNQ/straigh_dataset_bmp2 に straigh_dataset_bmp2 プロジェクトを作成して、straight_dataset_bmp.cpp と straight_dataset_bmp.h をコピー&ペーストした。今回、撮影した白線の画像データもコピー&ペーストして、プロジェクトのテストベンチに入れた。
wlt_cnn_44_170820.png

C シミュレーションを行った。ファイルがいろいろと作成された。
wlt_cnn_45_170820.png

~/Vivado_HLS/PYNQ/straigh_dataset_bmp2/solution1/csim/build ディレクトリに train_straight_run_image と train_straight_run_label
が生成された。
wlt_cnn_46_170820.png

今回、トレーニング・ファイルとラベル・ファイルの画像データが増えたので、straight_dataset_bmp.cpp と straight_dataset_bmp.h を変更した。
straight_dataset_bmp.h を示す。

// straight_dataset_bmp.h
// 2017/07/24 by marsee
//

#ifndef __STRAIGHT_DATASET_BMP_H__
#define __STRAIGHT_DATASET_BMP_H__

#include "hls_video.h"

#define BMP_HEIGHT    600
#define BMP_WIDTH    800

#define REDUCTION_RATIO    0.075    // 1/13.3333... 60x45

#define DATASET_HEIGHT    10
#define DATASET_WIDTH    56

#define STRAIGHT_BMP_FILE_NAME        straight
#define LEFT_TRUN_BMP_FILE_NAME        left_turn
#define RIGHT_TRUN_BMP_FILE_NAME    right_turn
#define STRAIGHT_NUM_OF_IMAGE        11
#define LEFT_TRUN_NUM_OF_IMAGE        11
#define    RIGHT_TRUNNUM_OF_IMAGE        11

typedef hls::Scalar<3unsigned char> RGB_PIXEL;
typedef hls::Mat<BMP_HEIGHT, BMP_WIDTH, HLS_8UC3> RGB_IMAGE;
typedef hls::Mat<BMP_HEIGHT, BMP_WIDTH, HLS_8UC1> GRAY_IMAGE;

#endif


straight_dataset_bmp.cpp を示す。

// straight_dataset_bmp.cpp
// 2017/07/24 by marsee
//

#include <iostream>
#include "hls_opencv.h"
#include "straight_dataset_bmp.h"
#include <arpa/inet.h>

int main(){
    char straight_fn[256] = "straight";
    char left_turn_fn[256] = "left_turn";
    char right_turn_fn[256] = "right_turn";
    char bmp_file[256];
    FILE *ftin, *ftln;
    char train_image_name[256] = "train_straight_run_image";
    char train_label_name[256] = "train_straight_run_label";
    uint32_t buf[5];
    uint8_t bufchar[100];


    if ((ftin = fopen(train_image_name, "wb")) == NULL){
        fprintf(stderr, "Can't open %s\n", train_image_name);
        exit(1);
    }
    if ((ftln = fopen(train_label_name, "wb")) == NULL){
        fprintf(stderr, "Can't open %s\n", train_label_name);
        exit(1);
    }

    // Writed header
    buf[0] = htonl(0x803); // magic number
    buf[1] = htonl(5*5*(STRAIGHT_NUM_OF_IMAGE+LEFT_TRUN_NUM_OF_IMAGE+RIGHT_TRUNNUM_OF_IMAGE));
     // number of image
    buf[2] = htonl(10); // number of rows (10)
    buf[3] = htonl(56); // number of columns (56)
    fwrite(buf, sizeof(uint32_t), 4, ftin);

    buf[0] = htonl(0x801); // magic number
    buf[1] = htonl(5*5*(STRAIGHT_NUM_OF_IMAGE+LEFT_TRUN_NUM_OF_IMAGE+RIGHT_TRUNNUM_OF_IMAGE));
     // number of image
    fwrite(buf, sizeof(uint32_t), 2, ftln);

    // refereed to http://opencv.jp/cookbook/opencv_img.html
    // straight
    for(int i=0; i<STRAIGHT_NUM_OF_IMAGE; i++){
        sprintf(bmp_file, "%s%d.bmp", straight_fn, i);
        cv::Mat straight_img = cv::imread(bmp_file,1);
        if(straight_img.empty())
            return(-1);
        cv::Mat reduct_img(straight_img.rows*0.075, straight_img.cols*0.075, straight_img.type());
        cv::resize(straight_img, reduct_img, reduct_img.size(), cv::INTER_LINEAR);
        cv::Mat gray_img;
        cv::cvtColor(reduct_img, gray_img, CV_BGR2GRAY);

        sprintf(bmp_file, "%s_RED%d.bmp", straight_fn, i);
        cv::imwrite(bmp_file, gray_img);

        for(int y=0; y<5; y++){
            for(int x=0; x<5; x++){
                cv::Rect rect_center(x, 30+y, 5610);
                cv::Mat img_rect(gray_img, rect_center);
                sprintf(bmp_file, "%s_RED_rect%d_%d%d.bmp", straight_fn, i, y, x);
                cv::imwrite(bmp_file, img_rect);

                for(int iy=0; iy<img_rect.rows; iy++){
                    for(int ix=0; ix<img_rect.cols; ix++){
                        bufchar[ix] = img_rect.at<uchar>(iy, ix);
                    }
                    fwrite(bufchar, sizeof(uint8_t), img_rect.cols, ftin); // image write
                }
                bufchar[0] = 0x1;
                fwrite(bufchar, sizeof(uint8_t), 1, ftln); // label write
            }
        }
    }

    // left turn
    for(int i=0; i<LEFT_TRUN_NUM_OF_IMAGE; i++){
        sprintf(bmp_file, "%s%d.bmp", left_turn_fn, i);
        cv::Mat left_trun_img = cv::imread(bmp_file,1);
        if(left_trun_img.empty())
            return(-1);
        cv::Mat reduct_img(left_trun_img.rows*0.075, left_trun_img.cols*0.075, left_trun_img.type());
        cv::resize(left_trun_img, reduct_img, reduct_img.size(), cv::INTER_LINEAR);
        cv::Mat gray_img;
        cv::cvtColor(reduct_img, gray_img, CV_BGR2GRAY);

        sprintf(bmp_file, "%s_RED%d.bmp", left_turn_fn, i);
        cv::imwrite(bmp_file, gray_img);

        for(int y=0; y<5; y++){
            for(int x=0; x<5; x++){
                cv::Rect rect_center(x, 30+y, 5610);
                cv::Mat img_rect(gray_img, rect_center);
                sprintf(bmp_file, "%s_RED_rect%d_%d%d.bmp", left_turn_fn, i, y, x);
                cv::imwrite(bmp_file, img_rect);

                for(int iy=0; iy<img_rect.rows; iy++){
                    for(int ix=0; ix<img_rect.cols; ix++){
                        bufchar[ix] = img_rect.at<uchar>(iy, ix);
                    }
                    fwrite(bufchar, sizeof(uint8_t), img_rect.cols, ftin); // image write
                }
                bufchar[0] = 0x0;
                fwrite(bufchar, sizeof(uint8_t), 1, ftln); // label write
            }
        }
    }

    // right turn
    for(int i=0; i<STRAIGHT_NUM_OF_IMAGE; i++){
        sprintf(bmp_file, "%s%d.bmp", right_turn_fn, i);
        cv::Mat right_trun_img = cv::imread(bmp_file,1);
        if(right_trun_img.empty())
            return(-1);
        cv::Mat reduct_img(right_trun_img.rows*0.075, right_trun_img.cols*0.075, right_trun_img.type());
        cv::resize(right_trun_img, reduct_img, reduct_img.size(), cv::INTER_LINEAR);
        cv::Mat gray_img;
        cv::cvtColor(reduct_img, gray_img, CV_BGR2GRAY);

        sprintf(bmp_file, "%s_RED%d.bmp", right_turn_fn, i);
        cv::imwrite(bmp_file, gray_img);

        for(int y=0; y<5; y++){
            for(int x=0; x<5; x++){
                cv::Rect rect_center(x, 30+y, 5610);
                cv::Mat img_rect(gray_img, rect_center);
                sprintf(bmp_file, "%s_RED_rect%d_%d%d.bmp", right_turn_fn, i, y, x);
                cv::imwrite(bmp_file, img_rect);

                for(int iy=0; iy<img_rect.rows; iy++){
                    for(int ix=0; ix<img_rect.cols; ix++){
                        bufchar[ix] = img_rect.at<uchar>(iy, ix);
                    }
                    fwrite(bufchar, sizeof(uint8_t), img_rect.cols, ftin); // image write
                }
                bufchar[0] = 0x2;
                fwrite(bufchar, sizeof(uint8_t), 1, ftln); // label write
            }
        }
    }

    fclose(ftin);
    fclose(ftln);

    return(0);
}

  1. 2017年08月20日 06:51 |
  2. DNN
  3. | トラックバック:0
  4. | コメント:0

コメント

コメントの投稿


管理者にだけ表示を許可する

トラックバック URL
http://marsee101.blog19.fc2.com/tb.php/3888-0c57f056
この記事にトラックバックする(FC2ブログユーザー)