后摩尔时代的创新：在米尔FPGA上实现Tiny YOLO V4，助力AIoT应用
2024-11-21
1681
来源：米尔电子
学习如何在 MYIR 的 ZU3EG FPGA 开发板上部署 Tiny YOLO v4，对比 FPGA、GPU、CPU 的性能，助力 AIoT 边缘计算应用。（文末有彩蛋）
一、 为什么选择 FPGA：应对 7nm 制程与 AI 限制
在全球半导体制程限制和高端 GPU 受限的大环境下，FPGA 成为了中国企业发展的重要路径之一。它可支持灵活的 AIoT 应用，其灵活性与可编程性使其可以在国内成熟的 28nm 工艺甚至更低节点的制程下实现高效的硬件加速。
米尔的 ZU3EG 开发板凭借其可重构架构为 AI 和计算密集型任务提供了支持，同时避免了 7nm 工艺对国产芯片设计的制约。通过在 ZU3EG 上部署 Tiny YOLO V4，我们可以为智能家居、智慧城市等 AIoT 应用提供高效的解决方案。
CPU GPU FPGA 架构对比
二、 了解 Tiny YOLO 模型及其适用性
YOLO（You Only Look Once）是一种实时物体检测模型，它通过一次性扫描整个图像，实现高效的对象识别。
而其简化版 Tiny YOLO V4 更适合嵌入式设备，具有较少的层数和参数。其轻量化特性更适合在资源受限的设备上运行，尤其在低功耗、实时检测的边缘计算设备中表现出色。
相比传统 GPU，FPGA 能在小面积和低功耗下实现类似的推理性能，非常契合 AIoT 应用。像米尔 ZU3EG 这样的 FPGA 开发板，通过底板和丰富接口的载板设计，非常适合高效的嵌入式低功耗数据处理。
Yolo V4 网络结构图
Tiny Yolo V4 网络结构图
（通过优化网络结构和参数，保持较高检测精度的同时，降低模型的计算量和内存占用）
三、 获取数据集和模型
可下载开源训练集或预训练模型。为了确保兼容性，建议将模型转换为 ONNX 格式，以便后续能在 FPGA 上完成优化。
Tiny YOLO 在 Darknet 上训练的截图
四、 通过 Vivado HLS 为 FPGA 准备模型
要将模型部署到 FPGA，需要将神经网络操作转换为硬件级描述。使用 Xilinx 的 Vitis HLS（高级综合）可以将 Tiny YOLO v4 的 C++ 模型代码的转化为 Verilog RTL（寄存器传输级）代码，从而将模型从软件世界带入硬件实现。
详细步骤：
将 YOLO 的每一层（如卷积层、池化层）映射为硬件友好的 C/C++ 结构。例如，将卷积映射为乘累加（MAC）数组，通过流水线实现并行化。
流水线（Pipelining）：利用流水线来处理多项操作并行，减少延迟。 循环展开（Loop Unrolling）：展开循环，以每周期处理更多数据，尤其在卷积操作中有效。 设置 DATAFLOW 指令，使层间独立处理。
将激活值和权重量化为定点精度（例如 INT8），而非浮点数。这在维持准确度的同时显著降低计算量，尤其适合 FPGA 的固定点运算支持。
Tiny YOLO 模型在 Vivado HLS 中的层层转化流程图
五、 使用 Vivado 综合与部署 Verilog 到 米尔的ZU3EG FPGA开发板
1.Vivado 中的设置：
将 HLS 输出的 RTL 文件导入 Vivado。
在 Vivado 中创建模块设计，包括连接AXI 接口与 ZU3EG 的 ARM 核连接。
2.I/O 约束与时序：
定义 FPGA 的 I/O 引脚约束，以匹配 ZU3EG 板的特定管脚配置。配置时钟约束以满足合适的数据速率（如视频数据 100-200 MHz）。
进行时序分析，确保延迟和响应速度达到实时要求。
3.生成比特流并下载到 ZU3EG：
生成的比特流可以直接通过 JTAG 或以太网接口下载到 ZU3EG。
将 Tiny YOLO 处理模块连接到 米尔ZU3EG开发板 的外设和接口
六、 在 FPGA 上测试并运行推理
通过连接的相机模块捕捉图像或视频帧，或者使用存储的测试视频。 使用 ZU3EG 的 ARM 核上的 OpenCV 对帧进行预处理，再将它们传入 FPGA 预处理后进行推理。
模型检测对象后，输出边框和类别标签。使用 OpenCV 将边框映射回原始帧，并在每个检测到的对象周围显示类别和置信度。
测量帧速率（FPS）和检测准确度。微调量化位宽或数据流参数，以优化实时需求。
Tiny YOLO 模型在 ZU3EG 上显示检测结果的实时输出，视频帧中标注了检测到的对象
七、 性能优化与调试技巧
内存访问：设计数据存储方式，最大限度利用缓存并减少数据传输，降低内存瓶颈。 降低延迟：重新评估关键路径延迟。若延迟过高，调整 Vitis HLS 中的流水线深度，并验证层间的数据依赖性。 量化改进：尝试 INT8 量化。Xilinx 的 Vitis AI 可帮助微调量化参数，以平衡准确性与速度。
不同优化配置对资源使用的影响
米尔MYC-CZU3EG/4EV/5EV-V2核心板及开发板
在MYIR 的 ZU3EG 开发平台上提供了一种高效的解决方案。利用 FPGA 独特的灵活性和低功耗优势，助力未来 AIoT 设备的普及和智能升级。
关注米尔电子公众号，后台回复FPGA，获取完整Tiny Yolo V4教程。
2025-09-04
6TOPS算力驱动30亿参数LLM，米尔RK3576部署端侧多模态多轮对话
关键词：瑞芯微 RK3576、NPU（神经网络处理器）、端侧小语言模型（SLM）、多模态 LLM、边缘 AI 部署、开发板当 GPT-4o 用毫秒级响应处理图文混合指令、Gemini-1.5-Pro 以百万 token 上下文 “消化” 长文档时，行业的目光正从云端算力竞赛转向一个更实际的命题：如何让智能 “落地”？—— 摆脱网络依赖、保护本地隐私、控制硬件成本，让设备真正具备 “看见并对话” 的
2025-09-04
直播预告 | 恩智浦技术日巡回研讨会：技术盛宴，“云端”开席！
9月9日，恩智浦技术日巡回研讨会将在杭州举办！活动同期，恩智浦携手生态合作伙伴，将对会议中精彩的技术演讲全程进行网络直播，让更多的开发者足不出户，也能够直击活动现场，解锁前沿产品方案，共赴“云端”技术盛宴！直播期间，参与观众互动，还有好礼等你拿~~点击文章顶部卡片，或扫描海报二维码，约起来吧！
2025-08-28
米尔发表演讲，并携瑞萨RZ产品亮相2025 Elexcon深圳电子展
2025年8月26日-28日，Elexcon深圳国际电子展在深圳会展中心（福田）1号馆（展台号：1L30）盛大举行。作为全球电子产业链的重要盛会，展会汇聚创新技术与行业解决方案。米尔电子MYIR携RZ系列核心板、开发板等方案Demo亮相瑞萨嵌入式MCU/MPU生态专区，并发表主题演讲。技术盛宴：瑞萨RZ系列产品矩阵亮相展会上，米尔展示了基于RZ/G2L、RZ/G2UL、RZ/T2H的核心板
2025-08-28
留言领奖！2025 STM32研讨会即将启幕，米尔期待与你共会
2025年9月11日及9月17日，STM32研讨会将走进北京和上海，为大家深入解读STM32的中国战略，并围绕STM32在不同领域的最新产品布局和生态展开主题演讲，包括边缘人工智能、电源能源、无线连接、安全等，深入探讨STM32带来的前沿科技成果。同时，STM32还将携手业内多家合作伙伴，展示STM32在更多领域的解决方案及应用实例。欢迎开发者及工程师莅临现场，与ST专家面对面沟通交流，体验不同产
2025-08-28
Qwen2-VL-3B模型在米尔瑞芯微RK3576开发板NPU多模态部署指导与评测
关键词：瑞芯微 RK3576、NPU（神经网络处理器）、端侧小语言模型（SLM）、多模态 LLM、边缘 AI 部署、开发板、RKLLM随着大语言模型（LLM）技术的快速迭代，从云端集中式部署到端侧分布式运行的趋势日益明显。端侧小型语言模型（SLM）凭借低延迟、高隐私性和离线可用的独特优势，正在智能设备、边缘计算等场景中展现出巨大潜力。瑞芯微 RK3576 开发板作为一款聚焦边缘 AI 的硬件平台，
2025-08-14
12路1080P高清视频流，米尔RK3576开发板重塑视频处理极限
在智能视觉技术不断发展的今天，多路摄像数据的处理与传输已成为众多应用场景的核心需求。从智能安防监控领域的全面覆盖，到工业视觉处理网关的精准检测，再到车载环视融合平台的实时驾驶辅助以及智慧社区AI防控的快速响应，多路摄像数据的处理与传输已成为关键需求，而高效且低延时的解决方案则是实现这些应用的核心。目前多路摄像传输方案往往存在一定局限，接入路数有限，难以满足大规模监控场景的需求，且延迟较高，影响实时
2025-08-14
共建生态，米尔将出席2025安路科技FPGA技术沙龙
在数字化浪潮席卷全球的今天，FPGA技术正成为驱动创新的核心引擎。2025年8月21日，深圳将迎来一场聚焦FPGA技术与产业应用的盛会——2025安路科技FPGA技术沙龙。本次沙龙以“定制未来 共建生态”为主题，汇聚行业专家、企业代表及技术开发者，探讨前沿技术趋势，解锁定制化解决方案，共建开放共赢的FPGA生态圈!米尔作为领先的嵌入式处理器模组厂商，将携安路FPGA核心板和开发板亮相，并发表主题演
2025-08-08
如何在RK3576开发板上板端编译OpenCV并搭建应用
本文将介绍基于米尔电子MYD-LR3576开发板（米尔基于瑞芯微 RK3576开发板）的板端编译OpenCV及环境搭建方案的开发测试。摘自优秀创作者-短笛君RK3576具有如下配置：4× Cortex-A72（大核，主频最高 2.2GHz）4× Cortex-A53（小核，主频最高 1.8GHz）NPU（AI加速单元）：独立 NPU，算力典型值6 TOPS（INT8）支持 TensorFlow L
2025-08-08
倒计时！米尔-安路飞龙派创意秀奖品等您领~~
创意秀活动进入倒计时阶段2025年米尔-安路飞龙派FPGA FPSoC创意开发大赛即将于8月15日正式收官（原定于6月15日，已延期到8月15日）。作为国产工业级FPGA领域的赛事，本次活动已吸引多支开发团队参与，基于MYD-YM90X开发板产出了众多创新解决方案。现距截稿仅剩7天，米尔特别提醒尚未提交作品的开发者把握最后几天，分享您的技术创作，申领米尔电子的奖品。活动链接：https://mp
2025-07-25
如何在RK3576开发板上运行TinyMaix ：超轻量级推理框架--基于米尔MYD-LR3576开发板
本文将介绍基于米尔电子MYD-LR3576开发平台部署超轻量级推理框架方案：TinyMaix摘自优秀创作者-短笛君TinyMaix 是面向单片机的超轻量级的神经网络推理库，即 TinyML 推理库，可以让你在任意低资源MCU上运行轻量级深度学习模型。关键特性核心代码少于 400行(tm_layers.c+tm_model.c+arch_cpu.h),代码段(.text)少于3KB低内存消耗支持 I