FC2カウンター FPGAの部屋 Vivado HLS 2014.4 でHLSストリームを使用してビデオ信号を入出力する2

FPGAやCPLDの話題やFPGA用のツールの話題などです。 マニアックです。 日記も書きます。

FPGAの部屋

FPGAの部屋の有用と思われるコンテンツのまとめサイトを作りました。Xilinx ISEの初心者の方には、FPGAリテラシーおよびチュートリアルのページをお勧めいたします。

Vivado HLS 2014.4 でHLSストリームを使用してビデオ信号を入出力する2

Vivado HLS 2014.4 でHLSストリームを使用してビデオ信号を入出力する”の続き。

前回は、Vivado HLSのHLSストリームを使用して、ビデオ信号からラプラシアンフィルタ処理をして、ビデオ信号として出力するC++のソフトウェアを作った。今回はテストベンチを作ってシミュレーション、CからHDLへ合成しようと思う。

Cシミュレーションを行った結果を下に示す。2つ空読みしているのだが、シミュレーションとしては成功した。
temp_lap.bmp にも A という文字のエッジが出力されていた。
dvi2lap2vga_9_150829.png

CからHDLへ合成した。クロック周期の制約が 10 ns に対して、24.6 ns になってしまった。
dvi2lap2vga_10_150829.png

Scheduling におけるワーニングが影響しているかもしれない。下にScheduling におけるワーニングメッセージを示す。

@I [HLS-10] ----------------------------------------------------------------
@I [HLS-10] -- Scheduling module 'lap_filter_rgb' 
@I [HLS-10] ----------------------------------------------------------------
@I [SCHED-11] Starting scheduling ...
@I [SCHED-61] Pipelining loop 'Loop 1'.
@W [SCHED-64] Unable to schedule the loop exit test ('icmp' operation ('tmp')) in the first II cycles (II = 1).
@W [SCHED-64] Unable to schedule the loop exit test ('icmp' operation ('tmp')) in the first II cycles (II = 2).
@W [SCHED-64] Unable to schedule the loop exit test ('icmp' operation ('tmp')) in the first II cycles (II = 3).
@W [SCHED-64] Unable to schedule the loop exit test ('icmp' operation ('tmp')) in the first II cycles (II = 4).
@I [SCHED-61] Pipelining result: Target II: 1, Final II: 5, Depth: 6.
@W [SCHED-21] Estimated clock period (24.6ns) exceeds the target (target clock period: 10ns, clock uncertainty: 1.25ns, effective delay budget: 8.75ns).
@W [SCHED-21] The critical path consists of the following:
    'load' operation ('line_buf_0_load', lap_filter_rgb_14_4/lap_filter_rgb.cpp:80) on array 'line_buf[0]' (2.39 ns)
    'add' operation ('tmp3', lap_filter_rgb_14_4/lap_filter_rgb.cpp:169->lap_filter_rgb_14_4/lap_filter_rgb.cpp:89) (2.44 ns)
    'add' operation ('sum2_i', lap_filter_rgb_14_4/lap_filter_rgb.cpp:169->lap_filter_rgb_14_4/lap_filter_rgb.cpp:89) (1.97 ns)
    'sub' operation ('sum3_neg_i', lap_filter_rgb_14_4/lap_filter_rgb.cpp:169->lap_filter_rgb_14_4/lap_filter_rgb.cpp:89) (1.97 ns)
    'sub' operation ('tmp_i', lap_filter_rgb_14_4/lap_filter_rgb.cpp:169->lap_filter_rgb_14_4/lap_filter_rgb.cpp:89) (2.44 ns)
    'sub' operation ('tmp_5_i', lap_filter_rgb_14_4/lap_filter_rgb.cpp:169->lap_filter_rgb_14_4/lap_filter_rgb.cpp:89) (2.44 ns)
    'sub' operation ('tmp_6_i', lap_filter_rgb_14_4/lap_filter_rgb.cpp:169->lap_filter_rgb_14_4/lap_filter_rgb.cpp:89) (2.44 ns)
    'sub' operation ('y', lap_filter_rgb_14_4/lap_filter_rgb.cpp:169->lap_filter_rgb_14_4/lap_filter_rgb.cpp:89) (2.44 ns)
    'mul' operation ('y_i88_op', lap_filter_rgb_14_4/lap_filter_rgb.cpp:169->lap_filter_rgb_14_4/lap_filter_rgb.cpp:89) (6.08 ns)
@I [SCHED-11] Finished scheduling.


C/RTL Co-Simulation を行った。Dump Trace を all にして実行した。成功したが、やはり空行を2つ読んでしまっている。
こちらも temp_lap.bmp にも A という文字のエッジが出力されていた.
dvi2lap2vga_11_150829.png

C/RTL Co-Simulation を行った波形を見るために Vivado 2014.4 を立ちあげて、Tcl Console に次のコマンドを入力した。

cd c:/Users/Masaaki/Documents/Vivado_HLS/ZYBO/lap_filter_rgb_14_4/solution1/sim/verilog
current_fileset
open_wave_database lap_filter_rgb.wdb
open_wave_config lap_filter_rgb.wcfg

シミュレーション波形が表示された。
dvi2lap2vga_12_150829.png

シミュレーション波形を拡大すると、5クロックで1ピクセルを処理していた。これでは使えない。
dvi2lap2vga_13_150829.png

やはり、ラプラシアンフィルタはAXI4 Stream版を使用して、回りは久しぶりに Verilog HDL で書いてみようか?久しく書いていないので、忘れているかもしれない?

最後に、lap_fil_rgb_tb.cpp を貼っておく。

//
// lap_fil_rgb_tb.cpp
// 2015/08/22 by marsee
//

#include <stdio.h>
#include <string.h>
#include <ap_int.h>
#include <hls_stream.h>

#include "lap_filter_rgb.h"
#include "bmp_header.h"

#define LOOP_COUNT 5

void lap_filter_rgb(ap_uint<1> lap_fil_enable, hls::stream<vid_in<24> >& video_in, hls::stream<RGB<24> >& video_out);

int laplacian_fil_soft(int x0y0, int x1y0, int x2y0, int x0y1, int x1y1, int x2y1, int x0y2, int x1y2, int x2y2);
int conv_rgb2y_soft(int rgb);
void lap_filter_rgb_soft(ap_uint<1> lap_fil_enable, hls::stream<vid_in<24> >& video_in, hls::stream<RGB<24> >& video_out);

int main(){
    using namespace std;

    hls::stream<vid_in<24> > ins;
    hls::stream<RGB<24> > outs;
    hls::stream<vid_in<24> > ins_soft;
    hls::stream<RGB<24> > outs_soft;
    vid_in<24> pix;
    RGB<24> vals;
    RGB<24> vals_soft;

    BITMAPFILEHEADER bmpfhr; // BMPファイルのファイルヘッダ(for Read)
    BITMAPINFOHEADER bmpihr; // BMPファイルのINFOヘッダ(for Read)
    FILE *fbmpr, *fbmpw;
    int *rd_bmp, *hw_lapd;
    int blue, green, red;
    int i, j;

    if ((fbmpr = fopen("test.bmp""rb")) == NULL){ // test.bmp をオープン
        fprintf(stderr, "Can't open test.bmp by binary read mode\n");
        exit(1);
    }
    // bmpヘッダの読み出し
    fread(&bmpfhr.bfType, sizeof(char), 2, fbmpr);
    fread(&bmpfhr.bfSize, sizeof(long), 1, fbmpr);
    fread(&bmpfhr.bfReserved1, sizeof(short), 1, fbmpr);
    fread(&bmpfhr.bfReserved2, sizeof(short), 1, fbmpr);
    fread(&bmpfhr.bfOffBits, sizeof(long), 1, fbmpr);
    fread(&bmpihr, sizeof(BITMAPINFOHEADER), 1, fbmpr);

    // ピクセルを入れるメモリをアロケートする
    if ((rd_bmp =(int *)malloc(sizeof(int) * (bmpihr.biWidth * bmpihr.biHeight))) == NULL){
        fprintf(stderr, "Can't allocate rd_bmp memory\n");
        exit(1);
    }
    if ((hw_lapd =(int *)malloc(sizeof(int) * (bmpihr.biWidth * bmpihr.biHeight))) == NULL){
        fprintf(stderr, "Can't allocate hw_lapd memory\n");
        exit(1);
    }

    // rd_bmp にBMPのピクセルを代入。その際に、行を逆転する必要がある
    for (int y=0; y<bmpihr.biHeight; y++){
        for (int x=0; x<bmpihr.biWidth; x++){
            blue = fgetc(fbmpr);
            green = fgetc(fbmpr);
            red = fgetc(fbmpr);
            rd_bmp[((bmpihr.biHeight-1)-y)*bmpihr.biWidth+x] = (blue & 0xff) | ((green & 0xff)<<8) | ((red & 0xff)<<16);
        }
    }
    fclose(fbmpr);

    // ins に入力データを用意する
    for(int i=0; i<LOOP_COUNT; i++){    // Vertical Sync
           pix.rgb_pData = 0;
         pix.rgb_pVDE = 0;
         pix.rgb_pHSync = 0;
         pix.rgb_pVSync = 1;
        ins << pix;
        ins_soft << pix;
    }
    for(int i=0; i<LOOP_COUNT; i++){    // Vertical back porch
           pix.rgb_pData = 0;
         pix.rgb_pVDE = 0;
         pix.rgb_pHSync = 0;
         pix.rgb_pVSync = 0;
        ins << pix;
        ins_soft << pix;
    }

    for(j=0; j < bmpihr.biHeight; j++){
        for(i=0; i < bmpihr.biWidth; i++){
            pix.rgb_pData = (ap_int<32>)rd_bmp[(j*bmpihr.biWidth)+i];
            pix.rgb_pVDE = 1;
            pix.rgb_pHSync = 0;
            pix.rgb_pVSync = 0;
            ins << pix;
            ins_soft << pix;
        }
        for(int i=0; i<LOOP_COUNT; i++){    // Horizontal front porch
               pix.rgb_pData = 0;
             pix.rgb_pVDE = 0;
             pix.rgb_pHSync = 0;
             pix.rgb_pVSync = 0;
            ins << pix;
            ins_soft << pix;
        }
        for(int i=0; i<LOOP_COUNT; i++){    // Horizontal Sync
               pix.rgb_pData = 0;
             pix.rgb_pVDE = 0;
             pix.rgb_pHSync = 1;
             pix.rgb_pVSync = 0;
            ins << pix;
            ins_soft << pix;
        }
        for(int i=0; i<LOOP_COUNT; i++){    // Horizontal back porch
               pix.rgb_pData = 0;
             pix.rgb_pVDE = 0;
             pix.rgb_pHSync = 0;
             pix.rgb_pVSync = 0;
            ins << pix;
            ins_soft << pix;
        }
    }
    for(i=0; i < bmpihr.biWidth; i++){    // No Display, Horizontal Sync
        pix.rgb_pData = 0;
        pix.rgb_pVDE = 0;
        pix.rgb_pHSync = 0;
        pix.rgb_pVSync = 0;
        ins << pix;
        ins_soft << pix;
    }
    for(int i=0; i<LOOP_COUNT; i++){    // Horizontal front porch
           pix.rgb_pData = 0;
         pix.rgb_pVDE = 0;
         pix.rgb_pHSync = 0;
         pix.rgb_pVSync = 0;
        ins << pix;
        ins_soft << pix;
    }
    for(int i=0; i<LOOP_COUNT; i++){    // Horizontal Sync
           pix.rgb_pData = 0;
         pix.rgb_pVDE = 0;
         pix.rgb_pHSync = 1;
         pix.rgb_pVSync = 0;
        ins << pix;
        ins_soft << pix;
    }
    for(int i=0; i<LOOP_COUNT; i++){    // Horizontal back porch
           pix.rgb_pData = 0;
         pix.rgb_pVDE = 0;
         pix.rgb_pHSync = 0;
         pix.rgb_pVSync = 0;
        ins << pix;
        ins_soft << pix;
    }
    for(int i=0; i<LOOP_COUNT; i++){    // Vertical Sync
           pix.rgb_pData = 0;
         pix.rgb_pVDE = 0;
         pix.rgb_pHSync = 0;
         pix.rgb_pVSync = 1;
        ins << pix;
        ins_soft << pix;
    }


    lap_filter_rgb(1, ins, outs);
    lap_filter_rgb_soft(1, ins_soft, outs_soft);

    // ハードウェアとソフトウェアのラプラシアン・フィルタの値のチェック
    cout << endl;
    cout << "outs" << endl;
    for(j=0; j < bmpihr.biHeight; j++){
        for(i=0; i < bmpihr.biWidth; ){
            outs >> vals;
            outs_soft >> vals_soft;
            if (vals.vid_pData != vals_soft.vid_pData || vals.vid_pVDE != vals_soft.vid_pVDE ||
                vals.vid_pHSync != vals_soft.vid_pHSync || vals.vid_pVSync != vals_soft.vid_pVSync){
                printf("ERROR HW and SW results mismatch i = %ld, j = %ld\n", i, j);
                printf("HW : Data = %x, VDE = %x, HSYNC = %X, VSYNC = %x\n", (int)vals.vid_pData, (int)vals.vid_pVDE, (int)vals.vid_pHSync, (int)vals.vid_pVSync);
                printf("SW : Data = %x, VDE = %x, HSYNC = %X, VSYNC = %x\n", (int)vals_soft.vid_pData, (int)vals_soft.vid_pVDE, (int)vals_soft.vid_pHSync, (int)vals_soft.vid_pVSync);
                return(1);
            }
            if (!vals.vid_pVDE)
                continue;
            unsigned int val = (unsigned int)vals.vid_pData;
            hw_lapd[(j*bmpihr.biWidth)+i] = (int)val;
            i++;
        }
    }

    cout << "Success HW and SW results match" << endl;
    cout << endl;

    // ハードウェアのラプラシアンフィルタの結果を temp_lap.bmp へ出力する
    if ((fbmpw=fopen("temp_lap.bmp""wb")) == NULL){
        fprintf(stderr, "Can't open temp_lap.bmp by binary write mode\n");
        exit(1);
    }
    // BMPファイルヘッダの書き込み
    fwrite(&bmpfhr.bfType, sizeof(char), 2, fbmpw);
    fwrite(&bmpfhr.bfSize, sizeof(long), 1, fbmpw);
    fwrite(&bmpfhr.bfReserved1, sizeof(short), 1, fbmpw);
    fwrite(&bmpfhr.bfReserved2, sizeof(short), 1, fbmpw);
    fwrite(&bmpfhr.bfOffBits, sizeof(long), 1, fbmpw);
    fwrite(&bmpihr, sizeof(BITMAPINFOHEADER), 1, fbmpw);

    // RGB データの書き込み、逆順にする
    for (int y=0; y<bmpihr.biHeight; y++){
        for (int x=0; x<bmpihr.biWidth; x++){
            blue = hw_lapd[((bmpihr.biHeight-1)-y)*bmpihr.biWidth+x] & 0xff;
            green = (hw_lapd[((bmpihr.biHeight-1)-y)*bmpihr.biWidth+x] >> 8) & 0xff;
            red = (hw_lapd[((bmpihr.biHeight-1)-y)*bmpihr.biWidth+x]>>16) & 0xff;

            fputc(blue, fbmpw);
            fputc(green, fbmpw);
            fputc(red, fbmpw);
        }
    }
    fclose(fbmpw);
    free(rd_bmp);
    free(hw_lapd);

    return 0;
}

void lap_filter_rgb_soft(ap_uint<1> lap_fil_enable, hls::stream<vid_in<24> >& video_in, hls::stream<RGB<24> >& video_out){
    enum  {idle, vsync_assert, v_back_porch, h_video, h_front_porch, hsync_assert, h_back_porch, v_front_porch, vsync_assert2};
    int cstate = idle;
    int cstateb = idle;

    unsigned int line_buf[2][HORIZONTAL_PIXEL_WIDTH];

    int pix_mat[3][3];

    int lap_fil_val;
    int x=0, y=0;
    int y_val;
    int val;
    int first_h_video;

    vid_in<24> pix;
    RGB<24> lap;

    while(cstate != vsync_assert2){
        if(!(cstate==h_video && (cstateb==v_back_porch || cstateb==h_back_porch))){ // v_back_porch と h_back_porch から h_videoになった時はストリームをReadしない
            video_in >> pix;
            first_h_video = 0;
        } else
            first_h_video = 1;
        cstateb = cstate;
       switch (cstate){
        case idle :
            if (pix.rgb_pVSync)
                cstate = vsync_assert;
            x = 0; y = 0;
            lap_fil_val = pix.rgb_pData;
            break;
        case vsync_assert :
            if (!pix.rgb_pVSync)
                cstate = v_back_porch;
            lap_fil_val = pix.rgb_pData;
            break;
        case v_back_porch :
            if (pix.rgb_pVDE){
                cstate = h_video;
                lap_fil_val = 0;
            } else
                lap_fil_val = pix.rgb_pData;
            break;
        case h_video :
            if (!pix.rgb_pVDE){
                cstate = h_front_porch;
                lap_fil_val = pix.rgb_pData;
            } else {
                for (int k=0; k<3; k++){
                    for (int m=0; m<2; m++){
                        pix_mat[k][m] = pix_mat[k][m+1];
                    }
                }
                pix_mat[0][2] = line_buf[0][x];
                pix_mat[1][2] = line_buf[1][x];

                y_val = conv_rgb2y_soft((unsigned int)pix.rgb_pData);
                pix_mat[2][2] = y_val;

                line_buf[0][x] = line_buf[1][x];    // 行の入れ替え
                line_buf[1][x] = y_val;

                lap_fil_val = laplacian_fil_soft(    pix_mat[0][0], pix_mat[0][1], pix_mat[0][2],
                                            pix_mat[1][0], pix_mat[1][1], pix_mat[1][2],
                                            pix_mat[2][0], pix_mat[2][1], pix_mat[2][2]);
                lap_fil_val = (lap_fil_val<<16)+(lap_fil_val<<8)+lap_fil_val; // RGB蜷後§蛟、繧貞?・繧後k

                if (x<2 || y<2// 最初の2行とその他の行の最初の2列は無効データなので0とする
                    lap_fil_val = 0;
                x++;
                if (first_h_video)
                    continue;
            }
            break;
        case h_front_porch:
            if (pix.rgb_pHSync)
                cstate = hsync_assert;
            lap_fil_val = pix.rgb_pData;
            break;
        case hsync_assert :
            if (!pix.rgb_pHSync)
                cstate = h_back_porch;
            lap_fil_val = pix.rgb_pData;
            break;
        case h_back_porch :
            if (pix.rgb_pHSync) // rgb_pVDE が来ないうちに rgb_pHSync が来たので表示期間終了
                cstate = v_front_porch;
            else if (pix.rgb_pVDE){
                cstate = h_video;
                y++;
                x = 0;
                lap_fil_val = 0;
            } else
                lap_fil_val = pix.rgb_pData;
            break;
        case v_front_porch :
            if (pix.rgb_pVSync)
                cstate = vsync_assert2;
            break;
        }
        if (cstate == h_video){
            if (lap_fil_enable)
                lap.vid_pData = (ap_uint<24>)lap_fil_val;
            else
                lap.vid_pData = pix.rgb_pData;
        }else
            lap.vid_pData = pix.rgb_pData;
        lap.vid_pHSync = pix.rgb_pHSync;
        lap.vid_pVDE = pix.rgb_pVDE;
        lap.vid_pVSync = pix.rgb_pVSync;

        video_out << lap;
    }
}

// RGBからYへの変換
// RGBのフォーマットは、{8'd0, R(8bits), G(8bits), B(8bits)}, 1pixel = 32bits
// 輝度信号Yのみに変換する。変換式は、Y =  0.299R + 0.587G + 0.114B
// "YUVフォーマット及び YUV<->RGB変換"を参考にした。http://vision.kuee.kyoto-u.ac.jp/~hiroaki/firewire/yuv.html
// 2013/09/27 : float を止めて、すべてint にした
int conv_rgb2y_soft(int rgb){
    int r, g, b, y_f;
    int y;

    b = rgb & 0xff;
    g = (rgb>>8) & 0xff;
    r = (rgb>>16) & 0xff;

    y_f = 77*r + 150*g + 29*b; //y_f = 0.299*r + 0.587*g + 0.114*b;の係数に256倍した
    y = y_f >> 8// 256で割る

    return(y);
}

// ラプラシアンフィルタ
// x0y0 x1y0 x2y0 -1 -1 -1
// x0y1 x1y1 x2y1 -1  8 -1
// x0y2 x1y2 x2y2 -1 -1 -1
int laplacian_fil_soft(int x0y0, int x1y0, int x2y0, int x0y1, int x1y1, int x2y1, int x0y2, int x1y2, int x2y2)
{
    int y;

    y = -x0y0 -x1y0 -x2y0 -x0y1 +8*x1y1 -x2y1 -x0y2 -x1y2 -x2y2;
    if (y<0)
        y = 0;
    else if (y>255)
        y = 255;
    return(y);
}

  1. 2015年08月29日 04:17 |
  2. Vivado HLS
  3. | トラックバック:0
  4. | コメント:0

コメント

コメントの投稿


管理者にだけ表示を許可する

トラックバック URL
http://marsee101.blog19.fc2.com/tb.php/3238-abac5a15
この記事にトラックバックする(FC2ブログユーザー)