首页

关于米尔

公司新闻

使用DNN深度神经网络实现图像AIGC的开发-基于米尔瑞萨RZ/G2L开发板的创新应用

2023-10-20

426

来源：米尔电子

本文由米尔论坛优秀评测者“ALSET”提供。

1.项目背景介绍

AIGC（即ArtificialIntelligence Generated Content），中文译为人工智能生成内容。简单来说，就是经过大量特征训练过的神经网络模型来对新的内容或者需求来生成人们需要的创作内容，类似使用人类用思考和创造力才能完成的工作过程，而现在可以利用人工智能技术来替代我们完成。在狭义上AIGC是指利用AI自动生成内容的生产方式，比如自动写作、自动设计等。在广义上，AIGC是指像人类一样具备生成创造能力的AI技术，它可以基于训练数据和生成算法来完成各类的内容生成创作。

在图像生成模型生成方面最主要的几个代表模型，是以下常见的4个模型：

DNN
GAN
VAE
Diffusion

其中基于深度神经网络（DNN）的进行图像艺术风格转移（Transform），生成高质量的具有艺术风格图像的神经网络模型。该模型通过深度神经网络分别提取图像中的内容和风格特征，然后对其目标图片内容进行重组，生成具有原图内容和艺术风格的图像，其风格转移不仅对图像的图案，颜色，特征等进行修改还保留原图高可辨识的内容载体。

通常AIGC对硬件性能要求较高，只要具备高性能的图形图像的PC图形工作站或者服务器上来运行。而这里我们将使用MYD-YG2L开发板上来实现在嵌入式设备上完成图像风格转移计算这一任务。并且结合图形界面和USB摄像头完成对任意拍摄的图片进行图像风格化的开发。让嵌入式上也能够体验这种独特的AIGC内容生成方式。

2.技术硬件方案

项目采用MYD-YG2L为主控板，使用800万像素4K级广角USB相机镜头，通过采集画面，在主控板内完成对画面的风格化处理，并通过HDMI输出显示生成的图像。

这里使用开发板连接HDMI显示器和接入一个4K高清镜头，主要硬件连接如下图：

3.主要技术原理

图像风格转移的主要过程是对输入img_content和img_style，然后要把img_content的内容主体和img_style进行一个结合，实现一个图像的创意创作，这个过程也叫做Style Transform 即风格转移。如下图中，第一列是输入的原图像, 第二列是风格图，第三列之后就是各种控制参数下的输出风格图像：

其核心的算法是把基于CNN卷积编码后的特征向量transformer第一个结合到风格迁移任务中，再对混合后的内容进行解码，从而输出新的图像内容，主要参考李飞飞论文，其核心流程如下图：

经过测试MYD-YG2L较好的支持OpenCV这个工具库，并且具备较强的图像处理能力。那么就可以在板上使用OpenCV的DNN模块来实现以上算法过程。OpenCV的DNN模块从发行版开始，主要是支持推理，而数据训练不是其支持的目标。因此我们可以使用已经训练好的模型，在板上上完成推理过程，即图像风格转移生成的这一过程。现在OpenCV已经支持TensorFlow、Pytorch/Torch、Caffe、DarkNet等模型的读取，OpenCV的 DNN模块的用法。

OpenCV的DNN模块进行模型推理就显得比较简单，过程就是：

1.加载模型

因为OpenCV DNN模块主要用来做推理计算，所以在使用前首先准备一个训练好的模型（如何训练自己的不同风格的模型后面也会阐述）。OpenCV支持所有主流框架的大部分模型。OpenCV的readNet系列函数就可以看出所支持的框架类型：

readNetFromCaffe
readNetFromTensorflow
readNetFromTorch
readNetFromDarknet
readNetFromONNX
readNetFromModelOptimizer

这里所用风格迁移模型是开源的Torch/Lua的模型fast-neural-style。他们提供了十种风格迁移的模型，模型的下载脚本在：https://github.com/jcjohnson/fas ... _transfer_models.sh。这里使用OpenCV的readNetFromTorch函数加载PyTorch模型。

2.输入图像预处理

在OpenCV中输入给模型的图像需要首先被构建成一个4个区块的数据块（Blob），并且做如resize、归一化和缩放之类的一些预处理。

3.模型推理

模型推理过程就是把输入构建的blob输入给模型神经网络模型进行一次前向传播，在OpenCV中，用以下非常简单的两行代码即可完成：

net.setInput(blob)

output = net.forward()

4.软件系统设计

在本软件开发，主要使用MYD-YG2L的SDK中，使用了OpenCV SDK与QT SDK。QT 主要实现文件图像风格转移的界面操作，使用OpenCV实现DNN图像推理计算。

设计QTUI，选择文件或者摄像头采集原图像

开发UI交互逻辑代码

开发OpenCV DNN神经网络调用模块

在开发板的交叉编译环境编译，把编译的结果部署到开发板上。另外把风格转移用到的训练模型文件也部署到开发板上，经过实际测试，以下模型在开发板上运行正常，而其它模型则因内存不够而报错。

1: "udnie",

2: "la_muse",

3: "the_scream",

4: "candy",

5: "mosaic",

6: "feathers",

7: "starry_night"

5.软件运行效果

把QT软件与相关模型文件部署到开发板上后，即可以运行测试效果，开发板上启动运行QT程序命令：

./style_transform -platform linuxfb

运行后，选择一张图片显示如下：

点击 “transform”按钮，等待约13秒，得到风格转移输出画面，如下：

再换一张米尔的LOGO图，这个图片尺寸较小，图像内容变化率低看一下，风格化转换时间：

测试仍然为13秒左右，得到如下输出图像：

这上面使用的是feathers模型生成的风格图片，其它模型时间也差不多在这个时间。

6.开发后记

最后使用开发的图像转换程序，在MAC电脑上编译了MAC版本与开发板上对同一图片转换进行比较。其使用MacBook Pro 2.2G 16G内存主频硬件运行该图片转换时，需要8.6秒。多次测试，对不同模型的转换分别测试，基本上在MYD-YG2LX上运行速度能达到MAC电脑转换的66%性能，这个结果看该开发板其DNN推理计算性能比较强悍。

该项目在后续的发展中，在有更多时间时，将尝试训练更多特色的风格，以及融入GAN生成神经网络模型的内容生成模型，尝试多种方法来进行更丰富多彩的内容生成。

在做本项目开发时，从资料中已知知名的内容生成项目stable diffusion已经在一些嵌入式开发板上移植运行成功，这个振奋的消息会不会又给自己挖了一个坑呢。

参考文献与资料

[1]. MYD-YG2LX开发板文档：

http://down.myir-tech.com/MYD-YG2LX

[2] PerceptualLosses for Real-Time Style Transfer and Super-Resolution。李飞飞

[3].MYD-YG2LX_Linux软件开发指南

http://down.myir-tech.com/MYD-YG2LX/User_Manual.zip

[4].SDK 及原理图仓库：

http://down.myir-tech.com/MYD-YG2LX/01_Documents.zip

[5] 黄俊明; 陈平平; 王彩申; Linux环境下基于OpenCV图像处理，电脑编程技巧与维护，2023.1

[6] Perceptual lossfor Real time Style Transfer and Super-Resolution 论文阅读分析

https://zhuanlan.zhihu.com/p/27165113

[7] Torch风格转移训练完成模型：

https://github.com/jcjohnson/fast-neural-style

了解更多

更多资讯

2024-09-19

首发新品，米尔STM32MP2核心板上市！高性能+多接口+边缘算力

米尔发布基于STM32MP257设计的嵌入式处理器模块MYC-LD25X核心板及开发板。核心板基于STM32MP2系列是意法半导体推出最新一代工业级64位微处理器，采用LGA 252 PIN设计，存储配置1GB/2GB LPDDR4、8GB eMMC，具有丰富的通讯接口，适用于高端工业HMI、边缘计算网关、新能源充电桩、储能EMS系统、工业自动化PLC、运动控制器等场景。STM32MP257处理器

2024-09-12

一款平台，双芯选择，米尔国际兼容与国产自主融合的FPGA开发平台

随着物联网（IoT）、工业自动化、医疗设备等领域对嵌入式系统的需求不断增加。嵌入式核心板（SOM）作为嵌入式系统的核心组件，其市场需求也随之增长。在快速发展的同时，也面临一定的挑战：如进口芯片供应链不可控、单一平台受地域政策限制、多平台产品开发周期长、开发难度高等问题，米尔电子设计开发了纯FPGA 开发平台，支持一款平台，双芯设计，支持同款底板可换国产和进口芯片，推出MYIR 7A100T和PG2

2024-09-06

Openharmony软件评估指南-瑞芯微RK3568开发板

Openharmony软件评估指南用于介绍在米尔的开发板上运行Openharmony系统下的核心资源与外设资源的测试步骤与评估方法。本文可作为前期评估指南使用，也可以作为通用系统开发的测试指导书使用。本文档使用于米尔电子的MYD-LR3568系列板卡，该板卡是米尔电子的嵌入式开发平台基于瑞芯微公司的高性能的嵌入式ARM处理器开发的，其中该系列使用的核心芯片为RK3568X。图1-1.米尔MYD-L

2024-09-06

7折，米尔-新唐MA35D1开发板正式开售！

近日，米尔发布基于新唐MA35D1芯片设计的嵌入式处理器模块MYC-LMA35核心板及开发板。MYC-LMA35核心板及开发板不仅集成了高性能的处理器芯片，还采用了创新的设计理念和丰富的外设资源，旨在满足新能源充电桩、工程机械控制器、OBD汽车诊断仪、工业网关、运动控制器和电力DTU等多元化应用场景的需求。为回馈广大客户的支持与厚爱，米尔电子特别推出新品MYD-LMA35开发板7折优惠活动，限量2

2024-09-06

米尔电子获年度AI创新产品奖，多款AI核心板赋能

近日，由电子发烧友网和elexcon2024深圳国际电子展暨嵌入式展、半导体展联合举办的2024第八届人工智能大会顺利举行，大会表彰了在行业中表现卓越的电子元器件和芯片、模组供应商，公布了“2024年度市场卓越表现奖”获奖名单。作为领先的嵌入式处理器模组厂商-米尔电子，凭借多款AI核心板荣获“年度AI创新产品奖”。再次展现出米尔电子在嵌入式模组行业的创新能力。米尔电子深耕嵌入式领域10多年，与ST

2024-08-28

领万元大奖！米尔电子Remi Pi 瑞米派创意秀

大赛简介为鼓励工程师勇于创新探索的精神，提升实践动手能力，更深度的体验瑞米派产品，米尔电子联合瑞萨共同发起“米尔电子&瑞萨瑞米派创意秀”，提供瑞米派支持开发者创新应用。报名条件：需关注米尔电子公众号的用户；报名对象：面向企业、创客团队、工程师、电子爱好者、研究院等人士，不限个人或团体形式参赛。大赛日程01-活动申请【时间：2024/08/28-2024/09/30】在线填《报名申请表》，

2024-08-28

米尔携瑞萨RZ系列产品亮相Elexcon深圳国际电子展

2024年8月27日-29日，elexcon2024深圳国际电子展在深圳会展中心（福田）隆重开幕。汇聚全球优质品牌广商齐聚现场，打造电子全产业链创新展示、一站式采购及技术交流平台，展示全球产业动态及未来技术趋势。深圳市米尔电子有限公司（简称：米尔电子）作为瑞萨电子的合作伙伴参展，展出基于RZ系列的核心模组和行业应用demo。elexcon瑞萨展台-米尔活动现场精彩1：米尔RZ/G2L开发板的充电桩

2024-08-23

现场送瑞米派！预约瑞萨RZ/G通用MPU研讨会

RZ/G系列是基于Arm®Cortex®架构和RISC-V架构运行Linux操作系统的可扩展MPU平台，具有先进的图形、视频引擎和高速接口。RZ/G系列的可扩展和高效性使其成为工业自动化、楼宇自动化HMI、工业摄像头和网关应用的理想之选。8月28日，瑞萨电子将携手米尔电子、Qt、百问网、AIZIP等合作伙伴举办线下研讨会，邀您赴现场共同探讨RZ/G系列的技术细节，包括硬件架构、软件开发工具以及在工

2024-08-23

国产核心板全面进攻-RK3568开发板评测

随着端侧AI应用的落地，预计集成NPU的SoC产品将迎来爆发式的增量市场。本期与非网给大家带来一款采用国内知名SoC厂商的产品——基于瑞芯微RK3568的开发板（MYD-LR3568J-32E4D-180-I-GK）。此款开发板是米尔电子推出的一款基于瑞芯微RK3568的工业板。笔者手上的为最高规格配置的版本，4GB LPDDR4 + 32GB eMMC，工业级温度的处理器RK3568J。开发板硬

2024-08-15

原生支持17路UART和4路CAN FD，新唐MA35D1核心板发布！

米尔发布基于新唐MA35D1芯片设计的嵌入式处理器模块MYC-LMA35核心板及开发板，MA35D1是集成2个Cortex-A35与1个Cortex-M4的异构微处理器芯片。核心板采用创新LGA 252PIN设计，存储配置256MB DDR3L、256MB Nand Flash/ 8GB EMMC，同时具有丰富的通讯接口，可广泛应用于新能源充电桩、工程机械控制器、OBD汽车诊断仪、工业网关、运动控

关于米尔

使用DNN深度神经网络实现图像AIGC的开发-基于米尔瑞萨RZ/G2L开发板的创新应用

瑞萨RZ/G2L处理器