FC2カウンター FPGAの部屋 2017年09月01日

FPGAやCPLDの話題やFPGA用のツールの話題などです。 マニアックです。 日記も書きます。

FPGAの部屋

FPGAの部屋の有用と思われるコンテンツのまとめサイトを作りました。Xilinx ISEの初心者の方には、FPGAリテラシーおよびチュートリアルのページをお勧めいたします。

Vivado HLS で画像のサイズを縮小して白黒変換(resize_gray)

2017/09/07:修正 resize_gray.cpp と resize_gray_tb.cpp をBGR からRGB に変更した。詳しくは、”Vivado HLS で画像のサイズを縮小して白黒変換2(resize_gray)”を参照のこと)

白線追従走行用畳み込みニューラルネットワークの製作20(CNN IPの戦略を考える)”の図で”1/10 まで縮小して白黒変換”のブロックがある。
wlt_cnn_98_170831.png

その”1/10 まで縮小して白黒変換”ブロックをVivado HLS で作ることにする。ただし、図では”1/10 まで縮小して白黒変換”ブロックはAXI4 Master の予定だったが、性能が出せるようにDMA Read は分けようと思う。”1/10 まで縮小して白黒変換”ブロックはAXI4 Stream の入力ポートと出力ポートを持つように実装しよう。Vivado HLS の HLS ビデオライブラリの Resize() を使用して縮小することにしようと思う。

VirtualBox 上のUbuntu 16.04 のVivado HLS 2016.4 の resize_gray プロジェクトを示す。
wlt_cnn_100_170901.png

ソースコードは、resize_gray.h と resize_gray.cpp で、テストベンチは、resize_gray_tb.cpp と straight0.bmp だ。

C シミュレーションを行った。エラーは無かったが、二乗誤差が 1 の時は無視している。差が 1 の時は結構多い。
wlt_cnn_101_170901.png

~/Vivado_HLS/ZYBO/resize_gray/solution1/csim/build ディレクトリを示す。
straight0.bmp を元に 1/10 に縮小した test_straight0.bmp と test_straight0_cv.bmp だ。test_straight0.bmp がHLS ビデオライブラリを使用したハードウェア化コードで生成した画像で、test_straight0_cv.bmp がソフトウェアのOpenCV で生成した画像だ。
straight0.bmp を示す。
wlt_cnn_102_170901.png

test_straight0.bmp と test_straight0_cv.bmp を示す。(画像は拡大している)
wlt_cnn_103_170901.png

次に、C コードの合成を行った。結果を示す。
wlt_cnn_105_170901.png

wlt_cnn_106_170901.png

Latency の max は 507894 で、800 x 600 ピクセルの画像が 480000 なので、ほぼ1 クロックで 1 ピクセルの処理ができている。 507894 / 480000 ≒ 1.058
リソース使用量は DSP48E は 19 個でやはりかなり使用している。

C/RTL協調シミュレーションを行った。
wlt_cnn_107_170901.png

こちらもLatency は 501405 でほぼ1 クロックで 1 ピクセルの処理ができている。

C/RTL協調シミュレーション波形を示す。全体から。
wlt_cnn_108_170901.png

outs のTVALID がまばらに立っていることが分かる。これは、画像を 1/10 に縮小しているからだ。
outs のTVALID が立っているところの部分を拡大してみよう。
wlt_cnn_110_170901.png

IP化のために、Export RTL を行った。なお、Vivado RTL Synthesis と Place and Route にチェックを入れてある。
wlt_cnn_109_170901.png

やはり、DSP は 19 個使用している。

resize_gray.h を貼っておく。

// resize_gray.h
// 2017/08/31 by marsee
//

#ifndef __resize_gray_H__
#define __resize_gray_H__

#include "ap_axi_sdata.h"
#include "hls_video.h"

#define MAX_HEIGHT    600
#define MAX_WIDTH    800

typedef hls::stream<ap_axiu<32,1,1,1> > AXI_STREAM;
typedef hls::Mat<MAX_HEIGHT, MAX_WIDTH, HLS_8UC3> RGB_IMAGE;
typedef hls::Mat<MAX_HEIGHT, MAX_WIDTH, HLS_8UC1> GRAY_IMAGE;
#endif


resize_gray.cpp を貼っておく。

// resize_gray.cpp
// 2017/08/31 by marsee
//

#include "resize_gray.h"

int resize_gray(AXI_STREAM& ins, AXI_STREAM& outs){
#pragma HLS INTERFACE axis register both port=outs
#pragma HLS INTERFACE axis register both port=ins
#pragma HLS DATAFLOW
#pragma HLS INTERFACE s_axilite port=return

    RGB_IMAGE org_img(600800);
    GRAY_IMAGE org_img_g(600800);
    GRAY_IMAGE resize_img_g(4560);
    RGB_IMAGE resize_img(4560);

    hls::AXIvideo2Mat(ins, org_img);
    hls::CvtColor<HLS_BGR2GRAY>(org_img, org_img_g);
    hls::Resize(org_img_g, resize_img_g);
    hls::CvtColor<HLS_GRAY2BGR>(resize_img_g, resize_img);
    hls::Mat2AXIvideo(resize_img, outs);

    return(0);
}


resize_gray_tb.cpp を貼っておく。

// resize_gray_tb.cpp
// 2017/08/31 by marsee
//

#include <iostream>
#include "hls_opencv.h"
#include "resize_gray.h"

using namespace cv;

#define INPUT_IMAGE        "straight0.bmp"
#define OUTPUT_IMAGE    "test_straight0.bmp"
#define OUTPUT_IMAGE_CV    "test_straight0_cv.bmp"

void resize_gray(AXI_STREAM& ins, AXI_STREAM& outs);
void opencv_resize_gray(Mat& src, Mat& dst);

int main (int argc, char** argv) {
    // OpenCV で 画像を読み込む
    Mat src = imread(INPUT_IMAGE);
    AXI_STREAM src_axi, dst_axi;

    // Mat フォーマットから AXI4 Stream へ変換
    cvMat2AXIvideo(src, src_axi);

    // resize_gray() 関数をコール
    resize_gray(src_axi, dst_axi);

    // AXI4 Stream から Mat フォーマットへ変換
    // dst は宣言時にサイズとカラー・フォーマットを定義する必要がある
    Mat dst(4560, CV_8UC3);
    AXIvideo2cvMat(dst_axi, dst);

    // Mat フォーマットからファイルに書き込み
    imwrite(OUTPUT_IMAGE, dst);

    // opencv_resize_gray() をコール
    Mat dst_cv(4560, CV_8UC3);
    opencv_resize_gray(src, dst_cv);
    imwrite(OUTPUT_IMAGE_CV, dst_cv);

    // dst と dst_cv が同じ画像かどうか?比較する
    for (int y=0; y<45; y++){
        Vec3b* dst_ptr = dst.ptr<Vec3b>(y);
        Vec3b* dst_cv_ptr = dst_cv.ptr<Vec3b>(y);
        for (int x=0; x<60; x++){
            Vec3b dst_bgr = dst_ptr[x];
            Vec3b dst_cv_bgr = dst_cv_ptr[x];

            // bgr のどれかが間違っていたらエラー
            if (std::pow(dst_bgr[0]-dst_cv_bgr[0], 2.0) > 1 || std::pow(dst_bgr[1]-dst_cv_bgr[1], 2.0) > 1
                    || std::pow(dst_bgr[2]-dst_cv_bgr[2], 2.0) > 1){
                printf("x = %d, y = %d,  Error dst=%d,%d,%d dst_cv=%d,%d,%d\n", x, y,
                        dst_bgr[0], dst_bgr[1], dst_bgr[0], dst_cv_bgr[0], dst_cv_bgr[1], dst_cv_bgr[2]);
                //return 1;
            }
        }
    }
    printf("Test with 0 errors.\n");

    return 0;
}

void opencv_resize_gray(Mat& src, Mat& dst){
    Mat gray(src.rows, src.cols, CV_8UC1);
    Mat img0g(4560, CV_8UC1);

    cvtColor(src, gray, CV_BGR2GRAY);
    resize(gray, img0g, img0g.size(), 00, INTER_LINEAR);
    cvtColor(img0g, dst, CV_GRAY2BGR);
}

  1. 2017年09月01日 05:11 |
  2. Vivado HLS
  3. | トラックバック:0
  4. | コメント:0