尧图网页设计 
做FPGA图像处理的人应该都有一个体会形态学运算里“膨胀、腐蚀”永远是教材的主角开运算和闭运算也还算有存在感但到了“黑顶帽”black top-hat这个算子大多数教程都是一笔带过——“用于提取暗色细节”然后就没然后了。可真到了工业视觉项目里亮背景上找暗斑、字符识别前做背景校正、表面缺陷检测里的凹坑提取黑顶帽反而是那个特别“稳”的预处理算子。我这次做的就是用Verilog在FPGA上把黑顶帽算法完整落地从算法拆解到3×3滑动窗口的硬件化再到Icarus Verilog仿真和Matlab结果对拍最后聊几个只有自己动手写过才会踩到的坑。这篇是【第1章第18节】的实战记录内容定位很明确给已经掌握基础Verilog语法、但对图像算法硬件化还不太熟的读者一份“可以抄作业”的工程框架也适合手头正在做FPGA图像预处理项目的工程师做参考。文章最后你拿到的不只是一段能跑的代码而是一套完整的验证思路——怎么确认你的RTL算出来的东西是对的这点比代码本身更值钱。1. 黑顶帽在提取什么从形态学语义到暗斑检测场景1.1 一个具体的工业问题亮背景上的暗缺陷先看一个我实际遇到过的场景。一条产线上要检测金属表面的凹坑缺陷打光方式用的是高角度环光正常表面在图像里是均匀的亮灰色凹坑位置因为反射角度改变会变成明显的暗点。缺陷很小只有几个像素。这时候你的预处理目标非常清楚把“比背景暗、而且尺寸小于结构元素”的区域单独拎出来。如果直接用阈值分割暗点周围的渐变边缘、光照不均匀造成的区域性明暗变化会一起被阈值切碎噪声大得没法用。这时候黑顶帽就是更好的选择它只对“局部凹陷”敏感对缓慢变化的背景几乎不响应。做完黑顶帽之后再阈值化信噪比会干净一个量级。这正是黑顶帽最典型的应用场景——提取暗色细节前提是这些细节的尺寸比结构元素小。注意这个“比结构元素小”是关键词待会讲算法语义的时候你就明白为什么了。1.2 膨胀、腐蚀、闭运算黑顶帽的三层基础黑顶帽的定义很简单黑顶帽 闭运算结果 − 原图。所以要理解黑顶帽先得把闭运算吃透。闭运算 先膨胀、后腐蚀。形态学里的膨胀和腐蚀对灰度图来说不是卷积那种乘加运算而是纯粹的比较运算膨胀取结构元素覆盖区域内所有像素的最大值作用是让亮区域扩张填掉暗的“谷”。腐蚀取结构元素覆盖区域内所有像素的最小值作用是让亮区域收缩削掉亮的“峰”。我用生活化的话给你捋一遍。把灰度图像想成一块起伏的地形亮的区域是山脊暗的区域是山谷。膨胀就是“把山脊向山谷方向推”暗谷被填平了一些腐蚀就是“把山谷向山脊方向扩”亮峰被削掉了一些。那么闭运算先膨胀后腐蚀的效果就是先把山谷填了再把山脊推回去。几轮操作之后山还是那座山但那些窄的、浅的小山谷已经被彻底抹平了。1.3 黑顶帽的数学定义和“减法”的物理含义用符号表达设原图像为f结构元素为S闭运算记为f·S那么黑顶帽变换就是BlackHat(f) (f·S) − f这里有个重要的数学性质闭运算是“外扩”的也就是f·S在每一点的值都大于等于原图f。所以闭运算减原图的结果永远非负。这个性质对硬件实现特别友好意味着减法可以用无符号数直接做不用处理符号位。那这个减法的物理含义是什么闭运算填平了那些尺寸小于结构元素的暗区所以“(闭运算结果) − (原图)”得到的恰好就是“被填掉的暗色细节”。原图中暗区的深度就是输出灰度背景部分因为闭运算基本没改变像素值相减后是0。一句话黑顶帽输出图像里亮的就是“暗缺陷本尊”黑的就是背景。1.4 与白顶帽的分工和适用边界形态学里还有个白顶帽WhiteHat(f) f − (f∘S)即原图减开运算结果。开运算是先腐蚀后膨胀削掉亮的小峰所以白顶帽提取的是亮色细节。黑白顶帽就是一对镜像算子一个提取亮特征一个提取暗特征。选哪个有三个判断依据特征明暗暗缺陷用黑顶帽亮缺陷用白顶帽。背景形态背景偏亮、要提取暗处的用黑顶帽背景偏暗、要提取亮处的用白顶帽。结构元素尺寸当缺陷本身比结构元素大的时候结果会变成“边缘响应”而不是“区域响应”输出会出现双边效应——这点很多人忽略实际调参时要记得验证缺陷尺寸和结构元素的匹配关系。我这次实现选的是3×3方形结构元素这是形态学里最小、最常用的窗口。理解3×3的实现后面扩到5×5、7×7只是线性增加资源思路完全不变。2. 从软件思维到硬件数据流为什么这算法天生适合FPGA2.1 3×3窗口的局部性不需要全局依赖黑顶帽的闭运算本质上是一个局部算子——每个输出像素只依赖以它为中心的3×3邻域。这意味着什么意味着数据流是“流式”的来一个像素走一个像素不需要等整帧图像存完也不需要跨帧搜索。对比一下中值滤波、卷积、形态学这类3×3窗口算子是FPGA图像处理最顺手的一类“切片滑窗”就能搞定而大尺度变换比如傅里叶变换或全局直方图修正这类算子因为存在全局依赖FPGA实现就要复杂得多。局部性是这个算法能硬件化的第一前提。2.2 比较器网络替代乘法器资源账很好算图像处理里最常见的操作是卷积卷积需要乘法器和加法器树一个3×3的8位卷积核乘法器数量倒不多但DSP资源有限且乘加树有深度而形态学膨胀/腐蚀全部计算就是“9个数比大小取最大/最小”。8位数值比较器在FPGA里的开销非常小——一个6输入LUT基本就能搭出1位的比较8位比较器大概2~3个LUT整个max9/min9单元也就几十个LUT。**不需要DSP不需要乘法器纯LUT触发器就能搞定。**这在资源账上几乎是“白送”的算子特别适合塞在图像预处理流水线的早期阶段把暗斑先提取出来后面再接什么识别算法都轻松。2.3 行缓存架构一个像素一拍吞吐量和图像大小解耦软件实现滑窗用的是二维数组索引硬件里没有“随机访问整幅图像”这回事所以要把“图像寻址”转换成“数据流的延时”。核心思想就是行缓存Line Buffer用一块深度等于图像宽度的存储器把一行数据缓存下来。级联两条行缓存加上当前行就能同时拿到三行同一列的数据。再用移位寄存器把每一行横向延出3个像素一个3×3窗口就建好了。这个结构的吞吐量是每个时钟周期处理一个像素和图像总大小没有直接关系。你处理640×480和处理1920×1080峰值吞吐量是一样的只是处理完一帧所需时间变长而已。这是流水线架构最迷人的地方。2.4 三种实现平台对比什么时候轮不到FPGA我不是“万物皆FPGA”的鼓吹者这里给个实际的平台选型判断实现平台延迟吞吐率开发成本适用场景CPUC/OpenCV高ms级受主频和并行度限制低离线处理、算法验证、非实时GPUCUDA高需帧级缓冲极高适合批量大图中离线批量、深度学习预处理FPGAVerilog低us级流水延迟每像素一拍的稳定吞吐高实时视频流、低延迟、嵌入式如果你的场景是“相机采完一帧慢慢分析”CPU上用Matlab或OpenCV的morphologyEx两行就搞定完全没必要上FPGA。但如果你的场景是传感器像素时钟不断流入、要求几个毫秒内出结果、后续还要级联其他实时算法FPGA就是最合适的平台。我的项目需求是实时视频流预处理所以选了FPGA这也是第18节这个系列的延续场景。3. Verilog实现两个窗口、两级极值、一条减法3.1 模块划分与数据通路总览整个设计我拆成四个基础模块加一个顶层模块职责line_buffer用一块小RAM实现单行延时window_3x3两条行缓存移位寄存器输出3×3邻域max9/min99取1的最大/最小比较器树black_tophat顶层级联两级窗口完成闭运算和减法数据通路是串联的原图像素流 → 窗口1 → 膨胀max9→ 窗口2 → 腐蚀min9→ 闭运算结果 → 减原图延时对齐后→ 黑顶帽输出。注意这里有“两级窗口”第一级窗口给膨胀单元喂数据膨胀结果作为第二级窗口的输入第二级窗口给腐蚀单元喂数据。很多人第一次写闭运算会把两级窗口搞混以为一个窗口同时输出给膨胀和腐蚀就完事了——不对腐蚀的对象是膨胀之后的图不是原始图所以必须级联两个窗口。3.2 行缓存line_buffer用BRAM做一行延时行缓存的核心是写一个像素的同时从同一个地址读出上一行同一列的旧像素。实现上要求RAM是“先读后写”模式read-firstVerilog写出来module line_buffer #( parameter DW 8, parameter LINE_WIDTH 640 )( input wire clk, input wire rst_n, input wire valid_in, input wire [DW-1:0] data_in, output reg [DW-1:0] data_out ); reg [DW-1:0] mem [0:LINE_WIDTH-1]; reg [$clog2(LINE_WIDTH)-1:0] ptr; always (posedge clk or negedge rst_n) begin if (!rst_n) begin ptr d0; data_out {DW{1b0}}; end else if (valid_in) begin // 先读再写同地址读出来的是上一行的像素 data_out mem[ptr]; mem[ptr] data_in; ptr ptr 1b1; end end endmodule这段代码的时序逻辑是像素按行顺序流入指针从0递增到LINE_WIDTH-1再回绕。每个周期先读再写读出来的自然就是“一个行周期之前”写入的那个像素——也就是上一行同一列。关键点行缓存的延时不是“一拍”而是一整行LINE_WIDTH拍。这里有个综合的小提醒上面写法在大多数工具里会被推断成read-first的分布式RAM或BRAM。如果你用的是Vivado建议在综合属性里把RAM_STYLE设成block行宽大、位宽8时用BRAM省LUT或distributed行宽小、设计简单时用分布式RAM。不设定的话工具可能会因为“读写同一地址”的歧义推断出你不想要的实现。3.3 滑动窗口window_3x3让像素站成方阵有了两条行缓存再加上三组移位寄存器就能把串行像素流编成3×3矩阵。这里有一个命名约定要提前说清楚**我定义win_11是窗口中“最老”的左上角像素win_33是“最新”的右下角像素。**当前输入像素din经过横向移位链后落在win_33位置din经过一条行缓存上一行同列像素后落在win_23经过两条行缓存的“上上行”像素落在win_13。这样一来三个纵向位置的三条移位链就构成了完整的3×3邻域。module window_3x3 #( parameter DW 8, parameter IW 640 )( input wire clk, input wire rst_n, input wire valid_in, input wire [DW-1:0] din, output wire [DW-1:0] win_11, win_12, win_13, output wire [DW-1:0] win_21, win_22, win_23, output wire [DW-1:0] win_31, win_32, win_33 ); wire [DW-1:0] line1_out, line2_out; line_buffer #(.DW(DW), .LINE_WIDTH(IW)) u_line1 ( .clk(clk), .rst_n(rst_n), .valid_in(valid_in), .data_in(din), .data_out(line1_out) ); line_buffer #(.DW(DW), .LINE_WIDTH(IW)) u_line2 ( .clk(clk), .rst_n(rst_n), .valid_in(valid_in), .data_in(line1_out), .data_out(line2_out) ); reg [DW-1:0] sr1_0, sr1_1, sr1_2; // 上上行 reg [DW-1:0] sr2_0, sr2_1, sr2_2; // 上一行 reg [DW-1:0] sr3_0, sr3_1, sr3_2; // 当前行 always (posedge clk or negedge rst_n) begin if (!rst_n) begin sr1_0 {DW{1b0}}; sr1_1 {DW{1b0}}; sr1_2 {DW{1b0}}; sr2_0 {DW{1b0}}; sr2_1 {DW{1b0}}; sr2_2 {DW{1b0}}; sr3_0 {DW{1b0}}; sr3_1 {DW{1b0}}; sr3_2 {DW{1b0}}; end else if (valid_in) begin sr1_0 line2_out; sr1_1 sr1_0; sr1_2 sr1_1; sr2_0 line1_out; sr2_1 sr2_0; sr2_2 sr2_1; sr3_0 din; sr3_1 sr3_0; sr3_2 sr3_1; end end assign win_11 sr1_2; assign win_12 sr1_1; assign win_13 sr1_0; assign win_21 sr2_2; assign win_22 sr2_1; assign win_23 sr2_0; assign win_31 sr3_2; assign win_32 sr3_1; assign win_33 sr3_0; endmodule注意看sr3这条链din进来先落在sr3_0最右一拍后移到sr3_1中间再一拍移到sr3_2最左。所以窗口在一行内的“横向填充”需要3个时钟周期。纵向填充则需要等待前面两条行缓存的数据也走到对应位置。整个窗口建立完成的时刻是收到第3行第3列有效像素之后的那一拍。3.4 膨胀单元max9与腐蚀单元min9比较器树拿到9个像素膨胀就是求最大值。最直观的写法是串行比较——一个reg变量依次跟9个数比大小。但串行比较器链深度大时序不好工程上应该用比较器树第一层4个比较器第二层2个第三层1个最后再和剩下的第9个输入比一次总共4级比较器。module max9 #( parameter DW 8 )( input wire [DW-1:0] d1, d2, d3, d4, d5, d6, d7, d8, d9, output wire [DW-1:0] dout ); wire [DW-1:0] a1, a2, a3, a4; wire [DW-1:0] b1, b2; wire [DW-1:0] c1; assign a1 (d1 d2) ? d1 : d2; assign a2 (d3 d4) ? d3 : d4; assign a3 (d5 d6) ? d5 : d6; assign a4 (d7 d8) ? d7 : d8; assign b1 (a1 a2) ? a1 : a2; assign b2 (a3 a4) ? a3 : a4; assign c1 (b1 b2) ? b1 : b2; assign dout (c1 d9) ? c1 : d9; endmodulemin9就是把这几个比较器的全部换成其余一字不差。两个模块还可以合并成一个带DIRECT参数的极值单元但分开写更直白反正代码量很小。比较器树的关键优势是逻辑深度可控8位比较器一级大概对应个位数的LUT级数4级树在常规FPGA上主频跑到150MHz以上没有任何压力。如果条件比较谨慎还可以在树中间插一拍寄存器做流水代价是增加几个周期的输出延迟这个后面第5部分会细说。3.5 闭运算级联与黑顶帽减法顶层例化闭运算模块把“窗口1max9窗口2min9”串起来黑顶帽顶层再在这个基础上加减法。我用一个顶层模块black_tophat一揽子实现省掉一层胶水代码module black_tophat #( parameter DW 8, parameter IW 640, parameter IH 480, parameter CLOSE_LATENCY 2*640 16 )( input wire clk, input wire rst_n, input wire valid_in, input wire [DW-1:0] din, output reg valid_out, output reg [DW-1:0] dout ); // ---------- 第一级窗口 膨胀 ---------- wire [DW-1:0] w1_11, w1_12, w1_13; wire [DW-1:0] w1_21, w1_22, w1_23; wire [DW-1:0] w1_31, w1_32, w1_33; wire [DW-1:0] dilate_data; window_3x3 #(.DW(DW), .IW(IW)) u_win1 ( .clk(clk), .rst_n(rst_n), .valid_in(valid_in), .din(din), .win_11(w1_11), .win_12(w1_12), .win_13(w1_13), .win_21(w1_21), .win_22(w1_22), .win_23(w1_23), .win_31(w1_31), .win_32(w1_32), .win_33(w1_33) ); max9 #(.DW(DW)) u_max ( .d1(w1_11), .d2(w1_12), .d3(w1_13), .d4(w1_21), .d5(w1_22), .d6(w1_23), .d7(w1_31), .d8(w1_32), .d9(w1_33), .dout(dilate_data) ); // ---------- 第二级窗口 腐蚀 ---------- wire [DW-1:0] w2_11, w2_12, w2_13; wire [DW-1:0] w2_21, w2_22, w2_23; wire [DW-1:0] w2_31, w2_32, w2_33; wire [DW-1:0] close_data; window_3x3 #(.DW(DW), .IW(IW)) u_win2 ( .clk(clk), .rst_n(rst_n), .valid_in(valid_in), .din(dilate_data), .win_11(w2_11), .win_12(w2_12), .win_13(w2_13), .win_21(w2_21), .win_22(w2_22), .win_23(w2_23), .win_31(w2_31), .win_32(w2_32), .win_33(w2_33) ); min9 #(.DW(DW)) u_min ( .d1(w2_11), .d2(w2_12), .d3(w2_13), .d4(w2_21), .d5(w2_22), .d6(w2_23), .d7(w2_31), .d8(w2_32), .d9(w2_33), .dout(close_data) ); // ---------- 原图延时对齐 ---------- reg [DW-1:0] delay_line [0:CLOSE_LATENCY-1]; integer k; always (posedge clk or negedge rst_n) begin if (!rst_n) begin for (k 0; k CLOSE_LATENCY; k k 1) delay_line[k] {DW{1b0}}; end else if (valid_in) begin delay_line[0] din; for (k 1; k CLOSE_LATENCY; k k 1) delay_line[k] delay_line[k-1]; end end wire [DW-1:0] din_delayed delay_line[CLOSE_LATENCY-1]; // ---------- 黑顶帽减法负值钳位 ---------- wire [DW:0] diff {1b0, close_data} - {1b0, din_delayed}; always (*) begin valid_out valid_in; dout diff[DW] ? {DW{1b0}} : diff[DW-1:0]; end endmodule这里有两个细节要解释。第一减法为什么要扩展位宽。闭运算结果和原图像素都是8位无符号数数学上闭运算结果大于等于原图所以差值不会为负但前面说过在图像边界零填充会让腐蚀后的值低于原图像素值导致闭运算结果可能小于原图。把减法扩展成9位补一个0做高位利用最高位判断是否下溢下溢就钳到0。这个钳位成本只有几个LUT但能避免边界处出现“雪花噪声”。第二CLOSE_LATENCY的确定。闭运算通路的延迟由两级窗口的行缓存和水平移位链共同决定精确值不是拍脑袋定的。我在3.6节专门讲怎么用仿真把它测准。3.6 原图延迟对齐CLOSE_LATENCY的确定方法减法器要求闭运算结果和原图像素“同一时刻到”。闭运算经过了两个窗口延了大约两行多拍原图必须插一条等长的延迟链才能对齐。上面的代码用了一条CLOSE_LATENCY级深的移位寄存器链。关键是这个值怎么定。我的做法是先把CLOSE_LATENCY设成一个大概值比如2*IW 16然后写一个测试序列让图像第一行前三个像素具有唯一特征比如灰度值255其他全0。仿真时观察两个信号输入din出现特征像素的时刻以及close_data输出与特征像素对应的闭运算结果的时刻。两者之差就是实际延迟。把测到的值填回参数再跑一次仿真看减法结果是否正确。这一步是必做的不要跳过因为不同工具综合后窗口模块的流水级数可能有细微差别。4. 仿真验证Icarus Verilog跑通全流程并与Matlab对拍4.1 测试环境的搭建仿真我用的是Icarus Verilogiverilog开源、跨平台、命令行干净配合GTKWave看波形足够用了。Ubuntu下一条命令装完sudo apt install iverilog gtkwave编译运行iverilog -o tb_top.vvp tb_black_tophat.v black_tophat.v window_3x3.v line_buffer.v max9.v min9.v vvp tb_top.vvp如果你的工程文件多建议写个Makefile或者在iverilog命令里用-f文件列表。我这边实际项目里还有DDR读取、串口输出等模块单纯跑图像算法核心仿真上面五个文件就够。4.2 Testbench的设计要点Testbench的核心工作有三件产生时钟复位、按像素时钟喂入图像数据、记录输出结果。我的测试图像用$readmemh从文本文件加载这样可以在Matlab里生成真实图像转成十六进制文本再作为激励喂给RTLmodule tb_black_tophat; parameter DW 8; parameter IW 16; parameter IH 16; reg clk 0; reg rst_n 0; reg valid_in 0; reg [DW-1:0] din 0; wire [DW-1:0] dout; wire valid_out; black_tophat #( .DW(DW), .IW(IW), .IH(IH), .CLOSE_LATENCY(2*IW 8) ) dut ( .clk(clk), .rst_n(rst_n), .valid_in(valid_in), .din(din), .valid_out(valid_out), .dout(dout) ); always #5 clk ~clk; reg [DW-1:0] img [0:IH-1][0:IW-1]; integer file_id; initial begin $readmemh(test_image.hex, img); rst_n 0; #20; rst_n 1; file_id $fopen(result.hex, w); // 按行按列喂入图像 for (integer r 0; r IH; r r 1) begin for (integer c 0; c IW; c c 1) begin (posedge clk); valid_in 1; din img[r][c]; end end (posedge clk); valid_in 0; // 等待流水线把最后一批结果吐完 repeat (IW * 2 32) (posedge clk); $fclose(file_id); $finish; end always (posedge clk) begin if (valid_out) begin $fwrite(file_id, %02x\n, dout); end end endmodule这段代码有两点值得说一是喂数据用(posedge clk)对齐时钟沿避免仿真事件竞争二是输出用$fwrite落盘为十六进制文本方便后续用脚本解析比对。4.3 手工构造测试图像一个暗点和一个暗条验证算法正确性我建议先构造一张“简单到一眼能看出对错”的小图而不是一上来就跑真实照片。用Matlab或Python生成一张16×16的灰度图背景全部置200在(8,8)位置放一个灰度50的暗点在(4,4)到(4,6)放一条横向的灰度80暗条。转成十六进制文本后喂给RTL。为什么手工图有效因为黑顶帽对这张图的期望输出可以手算3×3结构元素下暗点中心位置输出约为150200−50暗条覆盖区域输出约为120200−80其余位置为0或边界处的钳位值。如果你的RTL输出和这个手算结果对得上说明数据通路基本是通的。需要注意的是输出图像相比输入会有固定的流水线延迟比对时要把延迟量对齐。我习惯把RTL输出和Matlab输出都按“空间坐标”重新排列成矩阵再差分而不是直接按时间序列逐点比对。4.4 与Matlab imbothat的结果对比我用Matlab的imbothat做标准答案。这个函数就是黑顶帽本身等价于imclose(I, se) − Iimg imread(test_image.png); se strel(square, 3); ref imbothat(img, se);RTL输出经过上面testbench落盘成result.hex后在Matlab里读回并重排成图像矩阵然后直接算差rtl uint8(hex2dec(strsplit(strip(fileread(result.hex)), newline))); % 简化示意 rtl_img reshape(rtl, [IW IH]); diff_img abs(double(ref) - double(rtl_img)); fprintf(最大像素差: %d\n, max(diff_img(:))); fprintf(平均像素差: %.4f\n, mean(diff_img(:)));判定标准我给一个“工程够用”的经验值整幅图像除了边界区域最大像素差不超过1个灰度级平均像素差小于0.1就可以认为RTL功能正确。为什么不是完全等于0因为在边界处的填充策略不同Matlab默认在边界做了一种处理而RTL里我做的是零填充加钳位边界差异是可接受的。你完全可以在Matlab里用padarray(img, [1 1], 0)模拟零填充后再做闭运算两边就能做到完全一致。这一步做完你的RTL才不是“看起来能跑”而是“确实算得对”。5. 资源、时序与吞吐量实测数据和调优空间5.1 资源占用估算LUT、FF和BRAM以640×480灰度图、3×3核为例按8位像素计算资源占用大致如下资源估算值说明BRAM36Kb1~2每条行缓存640×8≈5Kb4条行缓存≈20KbLUT300~500主要在两个max9/min9比较器树和地址逻辑FF600~9003×3窗口共9×8×2个移位寄存器加延时链DSP0整个算法不需要乘法器这个资源量在主流FPGA里可以忽略不计哪怕是最小号的器件比如Cyclone 10 LP里最小的系列也能轻松放得下。如果你的图像宽度特别大比如1920可以考虑把4条行缓存合并到2个BRAM36里通过半字宽方式存储两行数据但工程上必要性不大。5.2 关键路径分析与流水化思路整个数据通路的组合逻辑只有两处max9比较器树和min9比较器树其余全是寄存器和RAM。关键路径基本就是“窗口寄存器输出 → 多级比较器 → 下一级窗口移位寄存器输入”这条链路。8位比较器延迟很小4级树结构在多数器件上跑到150~200MHz没有问题。如果主频要求更高比如要跑250MHz以上有个简单的优化办法在max9和min9的输出各插一级流水寄存器。代价是闭运算路径增加两个时钟周期的延迟记得把CLOSE_LATENCY加2就行。我在另一个项目里就是把比较器树从纯组合改成“组合寄存”两段时序裕量立刻多了不少。5.3 实时性账本1080p60需要多少时钟流水线填满之后算法是“每像素一拍”的吞吐率。注意这个“一拍”是像素时钟不是系统时钟——如果你的系统时钟是像素时钟的整数倍比如行场消隐期间不传数据那么有效像素速率要按有效行时间折算。算一笔账分辨率/帧率有效像素速率所需像素时钟150MHz下是否满足640×4806018.4 Mpixel/s约18.4 MHz富余1280×7206055.3 Mpixel/s约55.3 MHz富余1920×108060124.4 Mpixel/s约124.4 MHz够用1920×1080120248.8 Mpixel/s约248.8 MHz需要优化流水加上行场消隐的开销实际像素时钟通常比“分辨率×帧率”多出10%~20%比如1080p60的典型像素时钟是148.5MHz。所以如果你跑1080p60150MHz的工程频率正好卡在需要认真做时序收敛的水平。这也是做FPGA图像处理时钟规划时最容易被忽略的地方只算了有效像素忘了计入消隐时间。6. 我踩过的几个坑和后续可以怎么扩展6.1 减法位宽与边界钳位第一个坑就是边界零填充导致的“假暗特征”。前文说过零填充会让腐蚀在边界处把输出拉低闭运算结果可能低于原图如果没有位宽扩展和钳位减法后会出现不该有的“黑边响应”。我一开始图省事直接用8位减法结果四周边框上出现了一圈亮点排查了很久才发现是减法下溢回绕成了大数。把减法扩展成9位再判符号位问题立刻消失。6.2 行缓存深度与图像宽度的耦合行缓存的深度必须严格等于图像一行有效像素数。如果你的行缓存深度比实际行宽大滑动窗口会在行尾和下一行行首之间混入错误像素如果深度比行宽小就把一行数据截断了。**行缓存深度不是“设个大概”要跟你的图像时序严格匹配。**在我这个工程里图像来自OV5640摄像头行有效像素是固定的所以参数直接写死。但如果你用的是DDR随机读取那种“行长度可配置”的场景行缓存深度就必须跟着配置走或者做成可编程深度这又是另一段设计工作了。还有就是如果输入数据流中间有间隙比如FIFO从DDR读数时偶发气泡必须在valid_in信号级别上把关——valid_in为低期间行缓存指针不动窗口也不应该更新否则窗口里的像素组合就错位了。代码里else if (valid_in)就是干这件事的。6.3 从3×3到5×5改动量和资源增量如果你的暗特征尺寸比3×3大或者噪声比3×3窗口还粗就需要扩大结构元素。从3×3扩到5×5改动量如下行缓存数量从2条变成4条。窗口行列数每组移位链从3级变成5级。极值单元从9输入变成25输入比较器树从4级变成5级。行缓存存储量每条仍是8位×宽度不变但多了两条BRAM占用大约翻倍。代码上可以把window_3x3参数化成KERNEL_SIZE行缓存级联数量用generate循环生成。我建议先跑通3×3再做参数化重构不要一上来就写5×5。6.4 彩色图像的接法如果你的输入是RGB图像有两个选择。最省资源的方案是先在FPGA里把RGB转成灰度Y只对Y通道做黑顶帽输出的单通道结果直接用于后续分析。很多场景尤其是暗斑检测只需要亮度信息这个方案性价比最高。第二个方案是R、G、B三个通道并行各自做黑顶帽资源直接×3一般在需要保留色度差异的场景才值得。我个人实际经验是对于缺陷检测先灰度化基本不会损失什么信息而且调试方便得多——你可以拿同一张图分别用Matlab灰度版和RTL灰度版比对少了很多通道错位的干扰。最后再分享一个工程上的小习惯做这类流式图像处理我永远会在顶层保留valid_out信号并且在验证环境里跟踪valid信号而不是只跟踪数据。因为流式处理最隐蔽的错误不是算错一个数而是算出来的数和它的valid标志错开了一个周期导致下游模块采到错位的像素。我在这个项目里为了对齐闭运算延迟链就反复吃过valid时序的亏。把valid当成和像素一样重要的信号来设计和验证能省掉后面联调的大把时间。 FPGA实战：Verilog实现黑顶帽图像处理算法与验证
做FPGA图像处理的人应该都有一个体会形态学运算里“膨胀、腐蚀”永远是教材的主角开运算和闭运算也还算有存在感但到了“黑顶帽”black top-hat这个算子大多数教程都是一笔带过——“用于提取暗色细节”然后就没然后了。可真到了工业视觉项目里亮背景上找暗斑、字符识别前做背景校正、表面缺陷检测里的凹坑提取黑顶帽反而是那个特别“稳”的预处理算子。我这次做的就是用Verilog在FPGA上把黑顶帽算法完整落地从算法拆解到3×3滑动窗口的硬件化再到Icarus Verilog仿真和Matlab结果对拍最后聊几个只有自己动手写过才会踩到的坑。这篇是【第1章第18节】的实战记录内容定位很明确给已经掌握基础Verilog语法、但对图像算法硬件化还不太熟的读者一份“可以抄作业”的工程框架也适合手头正在做FPGA图像预处理项目的工程师做参考。文章最后你拿到的不只是一段能跑的代码而是一套完整的验证思路——怎么确认你的RTL算出来的东西是对的这点比代码本身更值钱。1. 黑顶帽在提取什么从形态学语义到暗斑检测场景1.1 一个具体的工业问题亮背景上的暗缺陷先看一个我实际遇到过的场景。一条产线上要检测金属表面的凹坑缺陷打光方式用的是高角度环光正常表面在图像里是均匀的亮灰色凹坑位置因为反射角度改变会变成明显的暗点。缺陷很小只有几个像素。这时候你的预处理目标非常清楚把“比背景暗、而且尺寸小于结构元素”的区域单独拎出来。如果直接用阈值分割暗点周围的渐变边缘、光照不均匀造成的区域性明暗变化会一起被阈值切碎噪声大得没法用。这时候黑顶帽就是更好的选择它只对“局部凹陷”敏感对缓慢变化的背景几乎不响应。做完黑顶帽之后再阈值化信噪比会干净一个量级。这正是黑顶帽最典型的应用场景——提取暗色细节前提是这些细节的尺寸比结构元素小。注意这个“比结构元素小”是关键词待会讲算法语义的时候你就明白为什么了。1.2 膨胀、腐蚀、闭运算黑顶帽的三层基础黑顶帽的定义很简单黑顶帽 闭运算结果 − 原图。所以要理解黑顶帽先得把闭运算吃透。闭运算 先膨胀、后腐蚀。形态学里的膨胀和腐蚀对灰度图来说不是卷积那种乘加运算而是纯粹的比较运算膨胀取结构元素覆盖区域内所有像素的最大值作用是让亮区域扩张填掉暗的“谷”。腐蚀取结构元素覆盖区域内所有像素的最小值作用是让亮区域收缩削掉亮的“峰”。我用生活化的话给你捋一遍。把灰度图像想成一块起伏的地形亮的区域是山脊暗的区域是山谷。膨胀就是“把山脊向山谷方向推”暗谷被填平了一些腐蚀就是“把山谷向山脊方向扩”亮峰被削掉了一些。那么闭运算先膨胀后腐蚀的效果就是先把山谷填了再把山脊推回去。几轮操作之后山还是那座山但那些窄的、浅的小山谷已经被彻底抹平了。1.3 黑顶帽的数学定义和“减法”的物理含义用符号表达设原图像为f结构元素为S闭运算记为f·S那么黑顶帽变换就是BlackHat(f) (f·S) − f这里有个重要的数学性质闭运算是“外扩”的也就是f·S在每一点的值都大于等于原图f。所以闭运算减原图的结果永远非负。这个性质对硬件实现特别友好意味着减法可以用无符号数直接做不用处理符号位。那这个减法的物理含义是什么闭运算填平了那些尺寸小于结构元素的暗区所以“(闭运算结果) − (原图)”得到的恰好就是“被填掉的暗色细节”。原图中暗区的深度就是输出灰度背景部分因为闭运算基本没改变像素值相减后是0。一句话黑顶帽输出图像里亮的就是“暗缺陷本尊”黑的就是背景。1.4 与白顶帽的分工和适用边界形态学里还有个白顶帽WhiteHat(f) f − (f∘S)即原图减开运算结果。开运算是先腐蚀后膨胀削掉亮的小峰所以白顶帽提取的是亮色细节。黑白顶帽就是一对镜像算子一个提取亮特征一个提取暗特征。选哪个有三个判断依据特征明暗暗缺陷用黑顶帽亮缺陷用白顶帽。背景形态背景偏亮、要提取暗处的用黑顶帽背景偏暗、要提取亮处的用白顶帽。结构元素尺寸当缺陷本身比结构元素大的时候结果会变成“边缘响应”而不是“区域响应”输出会出现双边效应——这点很多人忽略实际调参时要记得验证缺陷尺寸和结构元素的匹配关系。我这次实现选的是3×3方形结构元素这是形态学里最小、最常用的窗口。理解3×3的实现后面扩到5×5、7×7只是线性增加资源思路完全不变。2. 从软件思维到硬件数据流为什么这算法天生适合FPGA2.1 3×3窗口的局部性不需要全局依赖黑顶帽的闭运算本质上是一个局部算子——每个输出像素只依赖以它为中心的3×3邻域。这意味着什么意味着数据流是“流式”的来一个像素走一个像素不需要等整帧图像存完也不需要跨帧搜索。对比一下中值滤波、卷积、形态学这类3×3窗口算子是FPGA图像处理最顺手的一类“切片滑窗”就能搞定而大尺度变换比如傅里叶变换或全局直方图修正这类算子因为存在全局依赖FPGA实现就要复杂得多。局部性是这个算法能硬件化的第一前提。2.2 比较器网络替代乘法器资源账很好算图像处理里最常见的操作是卷积卷积需要乘法器和加法器树一个3×3的8位卷积核乘法器数量倒不多但DSP资源有限且乘加树有深度而形态学膨胀/腐蚀全部计算就是“9个数比大小取最大/最小”。8位数值比较器在FPGA里的开销非常小——一个6输入LUT基本就能搭出1位的比较8位比较器大概2~3个LUT整个max9/min9单元也就几十个LUT。**不需要DSP不需要乘法器纯LUT触发器就能搞定。**这在资源账上几乎是“白送”的算子特别适合塞在图像预处理流水线的早期阶段把暗斑先提取出来后面再接什么识别算法都轻松。2.3 行缓存架构一个像素一拍吞吐量和图像大小解耦软件实现滑窗用的是二维数组索引硬件里没有“随机访问整幅图像”这回事所以要把“图像寻址”转换成“数据流的延时”。核心思想就是行缓存Line Buffer用一块深度等于图像宽度的存储器把一行数据缓存下来。级联两条行缓存加上当前行就能同时拿到三行同一列的数据。再用移位寄存器把每一行横向延出3个像素一个3×3窗口就建好了。这个结构的吞吐量是每个时钟周期处理一个像素和图像总大小没有直接关系。你处理640×480和处理1920×1080峰值吞吐量是一样的只是处理完一帧所需时间变长而已。这是流水线架构最迷人的地方。2.4 三种实现平台对比什么时候轮不到FPGA我不是“万物皆FPGA”的鼓吹者这里给个实际的平台选型判断实现平台延迟吞吐率开发成本适用场景CPUC/OpenCV高ms级受主频和并行度限制低离线处理、算法验证、非实时GPUCUDA高需帧级缓冲极高适合批量大图中离线批量、深度学习预处理FPGAVerilog低us级流水延迟每像素一拍的稳定吞吐高实时视频流、低延迟、嵌入式如果你的场景是“相机采完一帧慢慢分析”CPU上用Matlab或OpenCV的morphologyEx两行就搞定完全没必要上FPGA。但如果你的场景是传感器像素时钟不断流入、要求几个毫秒内出结果、后续还要级联其他实时算法FPGA就是最合适的平台。我的项目需求是实时视频流预处理所以选了FPGA这也是第18节这个系列的延续场景。3. Verilog实现两个窗口、两级极值、一条减法3.1 模块划分与数据通路总览整个设计我拆成四个基础模块加一个顶层模块职责line_buffer用一块小RAM实现单行延时window_3x3两条行缓存移位寄存器输出3×3邻域max9/min99取1的最大/最小比较器树black_tophat顶层级联两级窗口完成闭运算和减法数据通路是串联的原图像素流 → 窗口1 → 膨胀max9→ 窗口2 → 腐蚀min9→ 闭运算结果 → 减原图延时对齐后→ 黑顶帽输出。注意这里有“两级窗口”第一级窗口给膨胀单元喂数据膨胀结果作为第二级窗口的输入第二级窗口给腐蚀单元喂数据。很多人第一次写闭运算会把两级窗口搞混以为一个窗口同时输出给膨胀和腐蚀就完事了——不对腐蚀的对象是膨胀之后的图不是原始图所以必须级联两个窗口。3.2 行缓存line_buffer用BRAM做一行延时行缓存的核心是写一个像素的同时从同一个地址读出上一行同一列的旧像素。实现上要求RAM是“先读后写”模式read-firstVerilog写出来module line_buffer #( parameter DW 8, parameter LINE_WIDTH 640 )( input wire clk, input wire rst_n, input wire valid_in, input wire [DW-1:0] data_in, output reg [DW-1:0] data_out ); reg [DW-1:0] mem [0:LINE_WIDTH-1]; reg [$clog2(LINE_WIDTH)-1:0] ptr; always (posedge clk or negedge rst_n) begin if (!rst_n) begin ptr d0; data_out {DW{1b0}}; end else if (valid_in) begin // 先读再写同地址读出来的是上一行的像素 data_out mem[ptr]; mem[ptr] data_in; ptr ptr 1b1; end end endmodule这段代码的时序逻辑是像素按行顺序流入指针从0递增到LINE_WIDTH-1再回绕。每个周期先读再写读出来的自然就是“一个行周期之前”写入的那个像素——也就是上一行同一列。关键点行缓存的延时不是“一拍”而是一整行LINE_WIDTH拍。这里有个综合的小提醒上面写法在大多数工具里会被推断成read-first的分布式RAM或BRAM。如果你用的是Vivado建议在综合属性里把RAM_STYLE设成block行宽大、位宽8时用BRAM省LUT或distributed行宽小、设计简单时用分布式RAM。不设定的话工具可能会因为“读写同一地址”的歧义推断出你不想要的实现。3.3 滑动窗口window_3x3让像素站成方阵有了两条行缓存再加上三组移位寄存器就能把串行像素流编成3×3矩阵。这里有一个命名约定要提前说清楚**我定义win_11是窗口中“最老”的左上角像素win_33是“最新”的右下角像素。**当前输入像素din经过横向移位链后落在win_33位置din经过一条行缓存上一行同列像素后落在win_23经过两条行缓存的“上上行”像素落在win_13。这样一来三个纵向位置的三条移位链就构成了完整的3×3邻域。module window_3x3 #( parameter DW 8, parameter IW 640 )( input wire clk, input wire rst_n, input wire valid_in, input wire [DW-1:0] din, output wire [DW-1:0] win_11, win_12, win_13, output wire [DW-1:0] win_21, win_22, win_23, output wire [DW-1:0] win_31, win_32, win_33 ); wire [DW-1:0] line1_out, line2_out; line_buffer #(.DW(DW), .LINE_WIDTH(IW)) u_line1 ( .clk(clk), .rst_n(rst_n), .valid_in(valid_in), .data_in(din), .data_out(line1_out) ); line_buffer #(.DW(DW), .LINE_WIDTH(IW)) u_line2 ( .clk(clk), .rst_n(rst_n), .valid_in(valid_in), .data_in(line1_out), .data_out(line2_out) ); reg [DW-1:0] sr1_0, sr1_1, sr1_2; // 上上行 reg [DW-1:0] sr2_0, sr2_1, sr2_2; // 上一行 reg [DW-1:0] sr3_0, sr3_1, sr3_2; // 当前行 always (posedge clk or negedge rst_n) begin if (!rst_n) begin sr1_0 {DW{1b0}}; sr1_1 {DW{1b0}}; sr1_2 {DW{1b0}}; sr2_0 {DW{1b0}}; sr2_1 {DW{1b0}}; sr2_2 {DW{1b0}}; sr3_0 {DW{1b0}}; sr3_1 {DW{1b0}}; sr3_2 {DW{1b0}}; end else if (valid_in) begin sr1_0 line2_out; sr1_1 sr1_0; sr1_2 sr1_1; sr2_0 line1_out; sr2_1 sr2_0; sr2_2 sr2_1; sr3_0 din; sr3_1 sr3_0; sr3_2 sr3_1; end end assign win_11 sr1_2; assign win_12 sr1_1; assign win_13 sr1_0; assign win_21 sr2_2; assign win_22 sr2_1; assign win_23 sr2_0; assign win_31 sr3_2; assign win_32 sr3_1; assign win_33 sr3_0; endmodule注意看sr3这条链din进来先落在sr3_0最右一拍后移到sr3_1中间再一拍移到sr3_2最左。所以窗口在一行内的“横向填充”需要3个时钟周期。纵向填充则需要等待前面两条行缓存的数据也走到对应位置。整个窗口建立完成的时刻是收到第3行第3列有效像素之后的那一拍。3.4 膨胀单元max9与腐蚀单元min9比较器树拿到9个像素膨胀就是求最大值。最直观的写法是串行比较——一个reg变量依次跟9个数比大小。但串行比较器链深度大时序不好工程上应该用比较器树第一层4个比较器第二层2个第三层1个最后再和剩下的第9个输入比一次总共4级比较器。module max9 #( parameter DW 8 )( input wire [DW-1:0] d1, d2, d3, d4, d5, d6, d7, d8, d9, output wire [DW-1:0] dout ); wire [DW-1:0] a1, a2, a3, a4; wire [DW-1:0] b1, b2; wire [DW-1:0] c1; assign a1 (d1 d2) ? d1 : d2; assign a2 (d3 d4) ? d3 : d4; assign a3 (d5 d6) ? d5 : d6; assign a4 (d7 d8) ? d7 : d8; assign b1 (a1 a2) ? a1 : a2; assign b2 (a3 a4) ? a3 : a4; assign c1 (b1 b2) ? b1 : b2; assign dout (c1 d9) ? c1 : d9; endmodulemin9就是把这几个比较器的全部换成其余一字不差。两个模块还可以合并成一个带DIRECT参数的极值单元但分开写更直白反正代码量很小。比较器树的关键优势是逻辑深度可控8位比较器一级大概对应个位数的LUT级数4级树在常规FPGA上主频跑到150MHz以上没有任何压力。如果条件比较谨慎还可以在树中间插一拍寄存器做流水代价是增加几个周期的输出延迟这个后面第5部分会细说。3.5 闭运算级联与黑顶帽减法顶层例化闭运算模块把“窗口1max9窗口2min9”串起来黑顶帽顶层再在这个基础上加减法。我用一个顶层模块black_tophat一揽子实现省掉一层胶水代码module black_tophat #( parameter DW 8, parameter IW 640, parameter IH 480, parameter CLOSE_LATENCY 2*640 16 )( input wire clk, input wire rst_n, input wire valid_in, input wire [DW-1:0] din, output reg valid_out, output reg [DW-1:0] dout ); // ---------- 第一级窗口 膨胀 ---------- wire [DW-1:0] w1_11, w1_12, w1_13; wire [DW-1:0] w1_21, w1_22, w1_23; wire [DW-1:0] w1_31, w1_32, w1_33; wire [DW-1:0] dilate_data; window_3x3 #(.DW(DW), .IW(IW)) u_win1 ( .clk(clk), .rst_n(rst_n), .valid_in(valid_in), .din(din), .win_11(w1_11), .win_12(w1_12), .win_13(w1_13), .win_21(w1_21), .win_22(w1_22), .win_23(w1_23), .win_31(w1_31), .win_32(w1_32), .win_33(w1_33) ); max9 #(.DW(DW)) u_max ( .d1(w1_11), .d2(w1_12), .d3(w1_13), .d4(w1_21), .d5(w1_22), .d6(w1_23), .d7(w1_31), .d8(w1_32), .d9(w1_33), .dout(dilate_data) ); // ---------- 第二级窗口 腐蚀 ---------- wire [DW-1:0] w2_11, w2_12, w2_13; wire [DW-1:0] w2_21, w2_22, w2_23; wire [DW-1:0] w2_31, w2_32, w2_33; wire [DW-1:0] close_data; window_3x3 #(.DW(DW), .IW(IW)) u_win2 ( .clk(clk), .rst_n(rst_n), .valid_in(valid_in), .din(dilate_data), .win_11(w2_11), .win_12(w2_12), .win_13(w2_13), .win_21(w2_21), .win_22(w2_22), .win_23(w2_23), .win_31(w2_31), .win_32(w2_32), .win_33(w2_33) ); min9 #(.DW(DW)) u_min ( .d1(w2_11), .d2(w2_12), .d3(w2_13), .d4(w2_21), .d5(w2_22), .d6(w2_23), .d7(w2_31), .d8(w2_32), .d9(w2_33), .dout(close_data) ); // ---------- 原图延时对齐 ---------- reg [DW-1:0] delay_line [0:CLOSE_LATENCY-1]; integer k; always (posedge clk or negedge rst_n) begin if (!rst_n) begin for (k 0; k CLOSE_LATENCY; k k 1) delay_line[k] {DW{1b0}}; end else if (valid_in) begin delay_line[0] din; for (k 1; k CLOSE_LATENCY; k k 1) delay_line[k] delay_line[k-1]; end end wire [DW-1:0] din_delayed delay_line[CLOSE_LATENCY-1]; // ---------- 黑顶帽减法负值钳位 ---------- wire [DW:0] diff {1b0, close_data} - {1b0, din_delayed}; always (*) begin valid_out valid_in; dout diff[DW] ? {DW{1b0}} : diff[DW-1:0]; end endmodule这里有两个细节要解释。第一减法为什么要扩展位宽。闭运算结果和原图像素都是8位无符号数数学上闭运算结果大于等于原图所以差值不会为负但前面说过在图像边界零填充会让腐蚀后的值低于原图像素值导致闭运算结果可能小于原图。把减法扩展成9位补一个0做高位利用最高位判断是否下溢下溢就钳到0。这个钳位成本只有几个LUT但能避免边界处出现“雪花噪声”。第二CLOSE_LATENCY的确定。闭运算通路的延迟由两级窗口的行缓存和水平移位链共同决定精确值不是拍脑袋定的。我在3.6节专门讲怎么用仿真把它测准。3.6 原图延迟对齐CLOSE_LATENCY的确定方法减法器要求闭运算结果和原图像素“同一时刻到”。闭运算经过了两个窗口延了大约两行多拍原图必须插一条等长的延迟链才能对齐。上面的代码用了一条CLOSE_LATENCY级深的移位寄存器链。关键是这个值怎么定。我的做法是先把CLOSE_LATENCY设成一个大概值比如2*IW 16然后写一个测试序列让图像第一行前三个像素具有唯一特征比如灰度值255其他全0。仿真时观察两个信号输入din出现特征像素的时刻以及close_data输出与特征像素对应的闭运算结果的时刻。两者之差就是实际延迟。把测到的值填回参数再跑一次仿真看减法结果是否正确。这一步是必做的不要跳过因为不同工具综合后窗口模块的流水级数可能有细微差别。4. 仿真验证Icarus Verilog跑通全流程并与Matlab对拍4.1 测试环境的搭建仿真我用的是Icarus Verilogiverilog开源、跨平台、命令行干净配合GTKWave看波形足够用了。Ubuntu下一条命令装完sudo apt install iverilog gtkwave编译运行iverilog -o tb_top.vvp tb_black_tophat.v black_tophat.v window_3x3.v line_buffer.v max9.v min9.v vvp tb_top.vvp如果你的工程文件多建议写个Makefile或者在iverilog命令里用-f文件列表。我这边实际项目里还有DDR读取、串口输出等模块单纯跑图像算法核心仿真上面五个文件就够。4.2 Testbench的设计要点Testbench的核心工作有三件产生时钟复位、按像素时钟喂入图像数据、记录输出结果。我的测试图像用$readmemh从文本文件加载这样可以在Matlab里生成真实图像转成十六进制文本再作为激励喂给RTLmodule tb_black_tophat; parameter DW 8; parameter IW 16; parameter IH 16; reg clk 0; reg rst_n 0; reg valid_in 0; reg [DW-1:0] din 0; wire [DW-1:0] dout; wire valid_out; black_tophat #( .DW(DW), .IW(IW), .IH(IH), .CLOSE_LATENCY(2*IW 8) ) dut ( .clk(clk), .rst_n(rst_n), .valid_in(valid_in), .din(din), .valid_out(valid_out), .dout(dout) ); always #5 clk ~clk; reg [DW-1:0] img [0:IH-1][0:IW-1]; integer file_id; initial begin $readmemh(test_image.hex, img); rst_n 0; #20; rst_n 1; file_id $fopen(result.hex, w); // 按行按列喂入图像 for (integer r 0; r IH; r r 1) begin for (integer c 0; c IW; c c 1) begin (posedge clk); valid_in 1; din img[r][c]; end end (posedge clk); valid_in 0; // 等待流水线把最后一批结果吐完 repeat (IW * 2 32) (posedge clk); $fclose(file_id); $finish; end always (posedge clk) begin if (valid_out) begin $fwrite(file_id, %02x\n, dout); end end endmodule这段代码有两点值得说一是喂数据用(posedge clk)对齐时钟沿避免仿真事件竞争二是输出用$fwrite落盘为十六进制文本方便后续用脚本解析比对。4.3 手工构造测试图像一个暗点和一个暗条验证算法正确性我建议先构造一张“简单到一眼能看出对错”的小图而不是一上来就跑真实照片。用Matlab或Python生成一张16×16的灰度图背景全部置200在(8,8)位置放一个灰度50的暗点在(4,4)到(4,6)放一条横向的灰度80暗条。转成十六进制文本后喂给RTL。为什么手工图有效因为黑顶帽对这张图的期望输出可以手算3×3结构元素下暗点中心位置输出约为150200−50暗条覆盖区域输出约为120200−80其余位置为0或边界处的钳位值。如果你的RTL输出和这个手算结果对得上说明数据通路基本是通的。需要注意的是输出图像相比输入会有固定的流水线延迟比对时要把延迟量对齐。我习惯把RTL输出和Matlab输出都按“空间坐标”重新排列成矩阵再差分而不是直接按时间序列逐点比对。4.4 与Matlab imbothat的结果对比我用Matlab的imbothat做标准答案。这个函数就是黑顶帽本身等价于imclose(I, se) − Iimg imread(test_image.png); se strel(square, 3); ref imbothat(img, se);RTL输出经过上面testbench落盘成result.hex后在Matlab里读回并重排成图像矩阵然后直接算差rtl uint8(hex2dec(strsplit(strip(fileread(result.hex)), newline))); % 简化示意 rtl_img reshape(rtl, [IW IH]); diff_img abs(double(ref) - double(rtl_img)); fprintf(最大像素差: %d\n, max(diff_img(:))); fprintf(平均像素差: %.4f\n, mean(diff_img(:)));判定标准我给一个“工程够用”的经验值整幅图像除了边界区域最大像素差不超过1个灰度级平均像素差小于0.1就可以认为RTL功能正确。为什么不是完全等于0因为在边界处的填充策略不同Matlab默认在边界做了一种处理而RTL里我做的是零填充加钳位边界差异是可接受的。你完全可以在Matlab里用padarray(img, [1 1], 0)模拟零填充后再做闭运算两边就能做到完全一致。这一步做完你的RTL才不是“看起来能跑”而是“确实算得对”。5. 资源、时序与吞吐量实测数据和调优空间5.1 资源占用估算LUT、FF和BRAM以640×480灰度图、3×3核为例按8位像素计算资源占用大致如下资源估算值说明BRAM36Kb1~2每条行缓存640×8≈5Kb4条行缓存≈20KbLUT300~500主要在两个max9/min9比较器树和地址逻辑FF600~9003×3窗口共9×8×2个移位寄存器加延时链DSP0整个算法不需要乘法器这个资源量在主流FPGA里可以忽略不计哪怕是最小号的器件比如Cyclone 10 LP里最小的系列也能轻松放得下。如果你的图像宽度特别大比如1920可以考虑把4条行缓存合并到2个BRAM36里通过半字宽方式存储两行数据但工程上必要性不大。5.2 关键路径分析与流水化思路整个数据通路的组合逻辑只有两处max9比较器树和min9比较器树其余全是寄存器和RAM。关键路径基本就是“窗口寄存器输出 → 多级比较器 → 下一级窗口移位寄存器输入”这条链路。8位比较器延迟很小4级树结构在多数器件上跑到150~200MHz没有问题。如果主频要求更高比如要跑250MHz以上有个简单的优化办法在max9和min9的输出各插一级流水寄存器。代价是闭运算路径增加两个时钟周期的延迟记得把CLOSE_LATENCY加2就行。我在另一个项目里就是把比较器树从纯组合改成“组合寄存”两段时序裕量立刻多了不少。5.3 实时性账本1080p60需要多少时钟流水线填满之后算法是“每像素一拍”的吞吐率。注意这个“一拍”是像素时钟不是系统时钟——如果你的系统时钟是像素时钟的整数倍比如行场消隐期间不传数据那么有效像素速率要按有效行时间折算。算一笔账分辨率/帧率有效像素速率所需像素时钟150MHz下是否满足640×4806018.4 Mpixel/s约18.4 MHz富余1280×7206055.3 Mpixel/s约55.3 MHz富余1920×108060124.4 Mpixel/s约124.4 MHz够用1920×1080120248.8 Mpixel/s约248.8 MHz需要优化流水加上行场消隐的开销实际像素时钟通常比“分辨率×帧率”多出10%~20%比如1080p60的典型像素时钟是148.5MHz。所以如果你跑1080p60150MHz的工程频率正好卡在需要认真做时序收敛的水平。这也是做FPGA图像处理时钟规划时最容易被忽略的地方只算了有效像素忘了计入消隐时间。6. 我踩过的几个坑和后续可以怎么扩展6.1 减法位宽与边界钳位第一个坑就是边界零填充导致的“假暗特征”。前文说过零填充会让腐蚀在边界处把输出拉低闭运算结果可能低于原图如果没有位宽扩展和钳位减法后会出现不该有的“黑边响应”。我一开始图省事直接用8位减法结果四周边框上出现了一圈亮点排查了很久才发现是减法下溢回绕成了大数。把减法扩展成9位再判符号位问题立刻消失。6.2 行缓存深度与图像宽度的耦合行缓存的深度必须严格等于图像一行有效像素数。如果你的行缓存深度比实际行宽大滑动窗口会在行尾和下一行行首之间混入错误像素如果深度比行宽小就把一行数据截断了。**行缓存深度不是“设个大概”要跟你的图像时序严格匹配。**在我这个工程里图像来自OV5640摄像头行有效像素是固定的所以参数直接写死。但如果你用的是DDR随机读取那种“行长度可配置”的场景行缓存深度就必须跟着配置走或者做成可编程深度这又是另一段设计工作了。还有就是如果输入数据流中间有间隙比如FIFO从DDR读数时偶发气泡必须在valid_in信号级别上把关——valid_in为低期间行缓存指针不动窗口也不应该更新否则窗口里的像素组合就错位了。代码里else if (valid_in)就是干这件事的。6.3 从3×3到5×5改动量和资源增量如果你的暗特征尺寸比3×3大或者噪声比3×3窗口还粗就需要扩大结构元素。从3×3扩到5×5改动量如下行缓存数量从2条变成4条。窗口行列数每组移位链从3级变成5级。极值单元从9输入变成25输入比较器树从4级变成5级。行缓存存储量每条仍是8位×宽度不变但多了两条BRAM占用大约翻倍。代码上可以把window_3x3参数化成KERNEL_SIZE行缓存级联数量用generate循环生成。我建议先跑通3×3再做参数化重构不要一上来就写5×5。6.4 彩色图像的接法如果你的输入是RGB图像有两个选择。最省资源的方案是先在FPGA里把RGB转成灰度Y只对Y通道做黑顶帽输出的单通道结果直接用于后续分析。很多场景尤其是暗斑检测只需要亮度信息这个方案性价比最高。第二个方案是R、G、B三个通道并行各自做黑顶帽资源直接×3一般在需要保留色度差异的场景才值得。我个人实际经验是对于缺陷检测先灰度化基本不会损失什么信息而且调试方便得多——你可以拿同一张图分别用Matlab灰度版和RTL灰度版比对少了很多通道错位的干扰。最后再分享一个工程上的小习惯做这类流式图像处理我永远会在顶层保留valid_out信号并且在验证环境里跟踪valid信号而不是只跟踪数据。因为流式处理最隐蔽的错误不是算错一个数而是算出来的数和它的valid标志错开了一个周期导致下游模块采到错位的像素。我在这个项目里为了对齐闭运算延迟链就反复吃过valid时序的亏。把valid当成和像素一样重要的信号来设计和验证能省掉后面联调的大把时间。