后摩尔时代的创新：在米尔FPGA上实现Tiny YOLO V4，助力AIoT应用
2024-11-21
2676
来源：米尔电子
学习如何在 MYIR 的 ZU3EG FPGA 开发板上部署 Tiny YOLO v4，对比 FPGA、GPU、CPU 的性能，助力 AIoT 边缘计算应用。（文末有彩蛋）
一、 为什么选择 FPGA：应对 7nm 制程与 AI 限制
在全球半导体制程限制和高端 GPU 受限的大环境下，FPGA 成为了中国企业发展的重要路径之一。它可支持灵活的 AIoT 应用，其灵活性与可编程性使其可以在国内成熟的 28nm 工艺甚至更低节点的制程下实现高效的硬件加速。
米尔的 ZU3EG 开发板凭借其可重构架构为 AI 和计算密集型任务提供了支持，同时避免了 7nm 工艺对国产芯片设计的制约。通过在 ZU3EG 上部署 Tiny YOLO V4，我们可以为智能家居、智慧城市等 AIoT 应用提供高效的解决方案。
CPU GPU FPGA 架构对比
二、 了解 Tiny YOLO 模型及其适用性
YOLO（You Only Look Once）是一种实时物体检测模型，它通过一次性扫描整个图像，实现高效的对象识别。
而其简化版 Tiny YOLO V4 更适合嵌入式设备，具有较少的层数和参数。其轻量化特性更适合在资源受限的设备上运行，尤其在低功耗、实时检测的边缘计算设备中表现出色。
相比传统 GPU，FPGA 能在小面积和低功耗下实现类似的推理性能，非常契合 AIoT 应用。像米尔 ZU3EG 这样的 FPGA 开发板，通过底板和丰富接口的载板设计，非常适合高效的嵌入式低功耗数据处理。
Yolo V4 网络结构图
Tiny Yolo V4 网络结构图
（通过优化网络结构和参数，保持较高检测精度的同时，降低模型的计算量和内存占用）
三、 获取数据集和模型
可下载开源训练集或预训练模型。为了确保兼容性，建议将模型转换为 ONNX 格式，以便后续能在 FPGA 上完成优化。
Tiny YOLO 在 Darknet 上训练的截图
四、 通过 Vivado HLS 为 FPGA 准备模型
要将模型部署到 FPGA，需要将神经网络操作转换为硬件级描述。使用 Xilinx 的 Vitis HLS（高级综合）可以将 Tiny YOLO v4 的 C++ 模型代码的转化为 Verilog RTL（寄存器传输级）代码，从而将模型从软件世界带入硬件实现。
详细步骤：
将 YOLO 的每一层（如卷积层、池化层）映射为硬件友好的 C/C++ 结构。例如，将卷积映射为乘累加（MAC）数组，通过流水线实现并行化。
流水线（Pipelining）：利用流水线来处理多项操作并行，减少延迟。 循环展开（Loop Unrolling）：展开循环，以每周期处理更多数据，尤其在卷积操作中有效。 设置 DATAFLOW 指令，使层间独立处理。
将激活值和权重量化为定点精度（例如 INT8），而非浮点数。这在维持准确度的同时显著降低计算量，尤其适合 FPGA 的固定点运算支持。
Tiny YOLO 模型在 Vivado HLS 中的层层转化流程图
五、 使用 Vivado 综合与部署 Verilog 到 米尔的ZU3EG FPGA开发板
1.Vivado 中的设置：
将 HLS 输出的 RTL 文件导入 Vivado。
在 Vivado 中创建模块设计，包括连接AXI 接口与 ZU3EG 的 ARM 核连接。
2.I/O 约束与时序：
定义 FPGA 的 I/O 引脚约束，以匹配 ZU3EG 板的特定管脚配置。配置时钟约束以满足合适的数据速率（如视频数据 100-200 MHz）。
进行时序分析，确保延迟和响应速度达到实时要求。
3.生成比特流并下载到 ZU3EG：
生成的比特流可以直接通过 JTAG 或以太网接口下载到 ZU3EG。
将 Tiny YOLO 处理模块连接到 米尔ZU3EG开发板 的外设和接口
六、 在 FPGA 上测试并运行推理
通过连接的相机模块捕捉图像或视频帧，或者使用存储的测试视频。 使用 ZU3EG 的 ARM 核上的 OpenCV 对帧进行预处理，再将它们传入 FPGA 预处理后进行推理。
模型检测对象后，输出边框和类别标签。使用 OpenCV 将边框映射回原始帧，并在每个检测到的对象周围显示类别和置信度。
测量帧速率（FPS）和检测准确度。微调量化位宽或数据流参数，以优化实时需求。
Tiny YOLO 模型在 ZU3EG 上显示检测结果的实时输出，视频帧中标注了检测到的对象
七、 性能优化与调试技巧
内存访问：设计数据存储方式，最大限度利用缓存并减少数据传输，降低内存瓶颈。 降低延迟：重新评估关键路径延迟。若延迟过高，调整 Vitis HLS 中的流水线深度，并验证层间的数据依赖性。 量化改进：尝试 INT8 量化。Xilinx 的 Vitis AI 可帮助微调量化参数，以平衡准确性与速度。
不同优化配置对资源使用的影响
米尔MYC-CZU3EG/4EV/5EV-V2核心板及开发板
在MYIR 的 ZU3EG 开发平台上提供了一种高效的解决方案。利用 FPGA 独特的灵活性和低功耗优势，助力未来 AIoT 设备的普及和智能升级。
关注米尔电子公众号，后台回复FPGA，获取完整Tiny Yolo V4教程。
2026-04-10
米尔RK3576 + ROS2 进阶：NPU加速MixFormerV2目标跟随与机械臂抓取实战
回顾上篇：基于RK3576+ROS2 Humble+SLAM Toolbox+Nav2，我们实现了机器人的建图与自主导航。机器人已经能够“走到哪里”。但真正的智能机器人不仅要“走到哪”，还要“看到并操作”——识别特定物体、主动跟随、近距离抓取。本文将在此基础上，集成深度摄像头，实现机器人核心功能：使用米尔RK3576 NPU加速MixFormerV2进行目标跟踪，替代传统OpenCV算法；移动底盘
2026-04-10
智造新方向 · 国产芯未来，米尔即将亮相新唐2026研讨会
在全球绿色能源与智能制造浪潮推动产业升级的当下，半导体技术的创新正持续为各领域发展注入核心动力。为深化产业技术交流、携手共探国产芯发展新机遇，新唐科技携手芯唐南京将于2026年4月14日至5月28日在全国城市巡回举办年度研讨会 ——“智造新方向・国产芯未来”。米尔电子作为新唐的合作伙伴，将携米尔基于新唐MA35D1核心板开发板及解决方案，亮相0417深圳、0421南京、0423北京等场次的研讨会。
2026-04-02
当6 TOPS不再是极限：RK3576+Hailo-8，让高帧率摄像头真正“实时”
在边缘计算领域，算力与实时性之间的博弈从未停止。近期基于米尔MYD-LR3576 开发板+PCIe M.2接口Hailo-8算力卡进行了一系列深度测试，一组实测数据，或许能帮你重新审视边缘AI的“性能天花板”。图：米尔基于RK3576开发板一、RK3576 的算力极限在哪里？RK3576内置NPU由2核组成，具备6 TOPS 算力，在常规轻量级模型推理中表现不俗。但在实际项目中，我们通过多路并发测
2026-03-27
新品！从MINI到工业板：米尔T153开发板工业场景全覆盖
今年1月，米尔发布了MYD-YT153MX-MINI开发板，该产品精准切入国产核心板在中端市场领域，具有极致性价比，自上市即获得良好的市场反响。为方便开发者灵活选择、适配更专业的场景，米尔电子正式推出基于同款全志T153四核异构工业处理器的MYD-YT153MX工业开发板，两款开发板形成完整组合，下面来详细介绍工业开发板的不同之处。工业开发板——为严苛场景而生工业开发板：定位工业应用开发与评估，接
2026-03-19
新品！瑞萨RZ/T2H驱控一体单芯、多轴实时控制，助力工业以太网
米尔电子发布基于瑞萨高端MPU处理器RZ/T2H的CPU模组-MYC-YT2HX核心板及开发板。该产品在前代产品RZ的基础上进行了全面升级，RZ/T2H以其强大的硬件支持、全面的软件开发工具、丰富的工业以太网协议和安全解决方案，以及多操作系统的灵活配置，为客户提供了一个全方位、高效率的开发环境。MYC-YT2HX核心板的推出，旨在解决工业数字化进程中对高性能产品升级以及对复杂网络控制的需求，如工业
2026-03-12
RK3576 + ROS2 SLAM建图与导航实战
前言文档定位与目标读者本文档面向具备一定ROS基础、希望深入理解并在实际项目中部署ROS2 Humble + SLAM Toolbox + Nav2完整建图与导航系统的机器人工程师。我们将从零开始，基于米尔RK3576开发板逐步构建一个功能完备的自主移动机器人系统，涵盖环境搭建、机器人建模、SLAM建图、自主导航以及生产级系统的优化与排错。为什么选择SLAM Toolbox + Nav2？在ROS
2026-03-12
米尔亮相德国嵌入式展2026 Embedded World
2026年3月10日，全球嵌入式系统领域的年度盛会——Embedded World在德国纽伦堡展览中心盛大启幕。作为领先的嵌入式处理器模组厂商，米尔电子携全系列嵌入式核心板、开发板及创新解决方案重磅亮相，与来自全球40多个国家的1100余家展商、32000余名专业观众共赴这场技术盛宴。Embedded World自创办以来，已成为全球规模最大、影响力最深远的嵌入式系统展览会，聚焦嵌入式硬件系统、软
2026-03-06
新品！高能效，低功耗，TI AM62L经典再进化
众所周知，TI经典工业MPUAM335x曾引领行业风潮，而2023年TI发布64位MPU通用工业处理器平台AM62x，为AM335x用户提供了无缝升级路径，实现更高性能的功能需求。AM62L作为AM62x家族的降本之作，在性能和资源上做了裁剪，成本上做了优化，延续AM62x的经典基因，以更低门槛推进低功耗、高能效的工业处理器普及，助力开发者以高效方案应对多样化的需求。米尔与TI再联手，推出基于TI
2026-03-06
爆火的OpenClaw! 告别云端,米尔RK3576本地部署
1.概述基于最近爆火的OpenClaw项目，本文将在MYD-LR3576开发板上部署OpenClaw ，并接入飞书机器人，实现本地自托管 AI 助手。1.1.硬件资源部署端：米尔基于RK3576核心板开发板（MYD-LR3576）、外接鼠标、键盘和屏幕图：米尔基于RK3576系列核心板开发板调试端：PC电脑（Windows系统、Ubuntu系统皆可）1.2. 软件资源MYD-LR3576开发板使用
2026-02-11
【干货】米尔T153开发板AD7616高速ADC采集系统详解
PART 01项目概述1.1 技术背景米尔MYD-YT153开发板搭载全志T153处理器，提供LocalBus（LBC）并行总线接口，适合连接高速外设。AD7616是ADI公司推出的16位高精度并行ADC，具有16通道差分输入，广泛应用于工业数据采集、仪器仪表等领域。1.2 项目目标验证MYD-YT153 LocalBus与AD7616的硬件兼容性提供完整的软件驱动实现方案评估系统在实际应用中的性