米尔电子
EN

首页

-

关于米尔

-

公司新闻

-

米尔RK3576 + ROS2 进阶：NPU加速MixFormerV2目标跟随与机械臂抓取实战

2026-04-10

14

来源：米尔电子

回顾上篇：基于RK3576+ROS2 Humble+SLAM Toolbox+Nav2，我们实现了机器人的建图与自主导航。机器人已经能够“走到哪里”。但真正的智能机器人不仅要“走到哪”，还要“看到并操作”——识别特定物体、主动跟随、近距离抓取。本文将在此基础上，集成深度摄像头，实现机器人核心功能：
  • 使用米尔RK3576 NPU加速MixFormerV2进行目标跟踪，替代传统OpenCV算法；
  • 移动底盘跟随目标物体，保持安全距离；
  • 机器人机械臂抓取物体，完成“识别-跟随-抓取”闭环。
名词预先了解：
  • 手眼转换：将相机看到的物体坐标转换到机械臂可执行的坐标系下。
  • 逆运动学：给定末端目标位姿，反解出机械臂各关节应转动的角度。
米尔基于RK3576核心板开发板

第一章：系统总体架构与硬件连接

1.1 硬件组成

  • 主控：米尔基于RK3576核心板开发板（内置6TOPS NPU）
  • 深度摄像头：RGB-D深度相机（输出RGB、IR、深度三路数据）
  • 机械臂：6轴轻量机械臂（串口控制）
  • 移动底盘：STM32控制，麦克纳姆轮

1.2 软件模块与数据流

整个系统分为五个核心ROS2节点：
整体数据流：
相机→ MixFormerV2跟踪器 → 手眼转换 → 底盘跟随节点 → 靠近停止 → 机械臂逆运动学规划 → 抓取执行。

第二章：深度相机数据获取

与普通USB摄像头不同，深度相机在ROS2下通过标准驱动节点发布话题数据。本文使用的RGB-D相机输出三路信息：
  • RGB图像：用于目标跟踪的视觉输入
  • IR图像：辅助深度计算（夜间或弱光可用）
  • 深度图像：每个像素的毫米级距离值
相机输出格式为：640×400 NV12，帧率13~15 FPS。主控RK3576通过订阅ROS话题（如/camera/color/image_raw和/camera/depth/image_raw）即可获取数据，无需直接操作/dev/video*节点。

关键点：深度图像与RGB图像需要时间对齐和空间对齐（通常相机驱动已提供对齐后的深度图），以便后续将目标2D框映射到3D坐标。

第三章：NPU加速的MixFormerV2目标跟踪

3.1 为什么放弃OpenCV，改用NPU+MixFormerV2？

传统OpenCV跟踪算法（KCF、CSRT等）在光照变化、遮挡、快速运动下容易丢失目标，且完全依赖CPU，帧率受限。而MixFormerV2是一种基于Transformer的端到端跟踪器，精度高、鲁棒性好。配合RK3576内置的6TOPS NPU，可以：
  • 推理速度提升：单帧推理30ms左右，实际跟踪帧率可达15~20 FPS；
  • CPU占用大幅降低：NPU独立处理视觉任务，CPU可专注ROS2通信与运动控制；
  • 功耗更低，适合嵌入式移动机器人。

3.2 模型转换与部署流程

1.模型转换：下载MixFormerV2的PyTorch权重，使用RKNN-Toolkit2工具转换为.rknn格式，并做INT8量化。
2.ROS2节点实现：
  • 订阅RGB图像话题；
  • 将图像缩放至模型输入尺寸（如224×224），进行预处理；
  • 调用NPU推理，输出目标边界框；
  • 结合深度图中对应区域的有效深度值，通过手眼转换得到目标在机器人坐标系下的3D坐标（X, Y, Z）；
  • 发布/target_3d_position和/tracking_box话题。
3.性能匹配：相机帧率约15 FPS，MixFormerV2采用累计3帧一起推理的方式（batch size=3），单次耗时约70ms，整体匹配流畅。

3.3 手眼转换

本文采用“眼在手上” 的配置：深度相机固定在机械臂末端，随机械臂一起运动。此时，相机到机械臂末端（camera_link → end_effector_link）的变换是固定的（可通过标定获得），而机械臂末端到基座（end_effector_link → arm_base_link）的变换则随关节角度实时变化。
在ROS中，我们需要：
  • 标定相机到机械臂末端的静态TF。
  • 机械臂驱动节点根据当前关节角度实时发布end_effector_link → arm_base_link的动态TF。
  • 通过tf2监听完整变换链，将物体坐标从相机系转换到机械臂基座系。

第四章：底盘移动跟随目标

当跟踪节点输出目标在机器人底盘坐标系下的3D位置后，底盘跟随节点object_follower执行以下逻辑：
  • 计算相对位置：得到目标相对于机器人中心的水平距离和角度偏差。
  • 优先调整方向：先原地旋转，使机器人正对目标（角度偏差 < 5°）。
  • 前进至抓取距离：保持正对，以线速度向前移动，直到距离目标约0.5米（安全抓取范围）。
  • 停止并通知抓取：到达抓取范围后，发布速度零指令，并触发抓取标志。

第五章：机械臂抓取物体

当底盘停止在抓取距离（约0.5米）后，抓取节点启动。本系统不依赖MoveIt 2，所有机械臂控制通过串口直接下发各关节角度，逆运动学由我们自行实现。

5.1 手眼转换（眼在手上）

相机固定在机械臂末端，因此手眼转换分为两部分：
  • 静态部分：相机到机械臂末端的变换（camera_link → end_effector_link），通过一次标定得到固定值。
  • 动态部分：机械臂末端到基座的变换（end_effector_link → arm_base_link），由机械臂当前关节角度实时决定。
在抓取流程中，目标物体在相机图像中被检测到后，首先得到物体在相机坐标系下的3D坐标，然后通过ROS的tf2监听完整的变换链：camera_link → end_effector_link → arm_base_link，自动转换到机械臂基座坐标系。这一过程无需手动干预，只要机械臂驱动节点正确发布关节状态和TF即可。

5.2 逆运动学解算

六轴机械臂通过串口接收角度指令（每个轴一个角度值）。为了抓取目标点，需要求解逆运动学：已知末端夹爪在机械臂基座下的目标位置（以及期望的姿态，例如垂直向下抓取），反算出6个关节的角度。
  • 实现方式：针对具体机械臂的几何参数（D-H参数），编写解析解或数值迭代解（如雅可比伪逆法）。解析解速度快，适合固定构型；数值法通用但需注意收敛。
  • 输出：6个关节角度（单位：度或弧度），通过串口逐条发送（可同时发送或按顺序移动）。

5.3 抓取流程

  • 获取目标坐标：从跟踪节点读取底盘停止瞬间的目标3D点（已转换到arm_base_link坐标系）。
  • 设定抓取姿态：根据物体形状和相机视角，设定夹爪的期望方向（例如让夹爪水平或垂直接近）。这一步需结合经验预设。
  • 逆运动学求解：输入末端目标位姿，计算出各关节角度。若求解失败（如目标超出工作空间），则调整底盘位置重新跟随。
  • 发送关节角度：通过串口依次发送6个关节的角度指令，等待机械臂运动到位（可简单延时或读取状态反馈）。
  • 夹取：发送夹爪闭合指令（串口另一命令），通过电流反馈或限位开关判断是否夹住物体。
  • 完成：抓取成功后，机械臂保持闭合，底盘可原地等待下一步指令。

第六章：总结与展望

本文在上篇“建图与导航”的基础上，为米尔RK3576机器人增加了“视觉跟随与抓取”能力，实现了完整的“识别-跟随-抓取”闭环。关键技术包括：
  • MixFormerV2 + NPU 实现高能效目标跟踪；
  • 手眼转换：将相机看到的物体坐标转换到机械臂可执行的坐标系下。本文采用“眼在手上”配置（相机固定在机械臂末端），需同时考虑固定偏移和关节运动。
  • 自研逆运动学 控制6轴机械臂精准抓取（不依赖MoveIt 2）。
米尔RK3576这一方案可广泛应用于服务机器人、巡检机器人、教育竞赛等场景。下一步可探索：
  • 多目标切换跟随；
  • 动态避障与跟随并行；
  • 抓取后自动放置（结合上篇的导航回位功能）。

演示视频：米尔RK3576机器人方案机械臂抓取演示

了解更多
相关产品：
RK3576
RK3576处理器
MYC-LR3576核心板及开发板
LR3576
LR3576处理器
MYD-LR3576-B边缘计算盒
更多资讯

2026-04-10

米尔RK3576 + ROS2 进阶：NPU加速MixFormerV2目标跟随与机械臂抓取实战

回顾上篇：基于RK3576+ROS2 Humble+SLAM Toolbox+Nav2，我们实现了机器人的建图与自主导航。机器人已经能够“走到哪里”。但真正的智能机器人不仅要“走到哪”，还要“看到并操作”——识别特定物体、主动跟随、近距离抓取。本文将在此基础上，集成深度摄像头，实现机器人核心功能：使用米尔RK3576 NPU加速MixFormerV2进行目标跟踪，替代传统OpenCV算法；移动底盘

2026-04-10

智造新方向 · 国产芯未来，米尔即将亮相新唐2026研讨会

在全球绿色能源与智能制造浪潮推动产业升级的当下，半导体技术的创新正持续为各领域发展注入核心动力。为深化产业技术交流、携手共探国产芯发展新机遇，新唐科技携手芯唐南京将于2026年4月14日至5月28日在全国城市巡回举办年度研讨会 ——“智造新方向・国产芯未来”。米尔电子作为新唐的合作伙伴，将携米尔基于新唐MA35D1核心板开发板及解决方案，亮相0417深圳、0421南京、0423北京等场次的研讨会。

2026-04-02

当6 TOPS不再是极限：RK3576+Hailo-8，让高帧率摄像头真正“实时”

在边缘计算领域，算力与实时性之间的博弈从未停止。近期基于米尔MYD-LR3576 开发板+PCIe M.2接口Hailo-8算力卡进行了一系列深度测试，一组实测数据，或许能帮你重新审视边缘AI的“性能天花板”。图：米尔基于RK3576开发板一、RK3576 的算力极限在哪里？RK3576内置NPU由2核组成，具备6 TOPS 算力，在常规轻量级模型推理中表现不俗。但在实际项目中，我们通过多路并发测

2026-03-27

新品！从MINI到工业板：米尔T153开发板工业场景全覆盖

今年1月，米尔发布了MYD-YT153MX-MINI开发板，该产品精准切入国产核心板在中端市场领域，具有极致性价比，自上市即获得良好的市场反响。为方便开发者灵活选择、适配更专业的场景，米尔电子正式推出基于同款全志T153四核异构工业处理器的MYD-YT153MX工业开发板，两款开发板形成完整组合，下面来详细介绍工业开发板的不同之处。工业开发板——为严苛场景而生工业开发板：定位工业应用开发与评估，接

2026-03-19

新品！瑞萨RZ/T2H驱控一体单芯、多轴实时控制，助力工业以太网

米尔电子发布基于瑞萨高端MPU处理器RZ/T2H的CPU模组-MYC-YT2HX核心板及开发板。该产品在前代产品RZ的基础上进行了全面升级，RZ/T2H以其强大的硬件支持、全面的软件开发工具、丰富的工业以太网协议和安全解决方案，以及多操作系统的灵活配置，为客户提供了一个全方位、高效率的开发环境。MYC-YT2HX核心板的推出，旨在解决工业数字化进程中对高性能产品升级以及对复杂网络控制的需求，如工业

2026-03-12

RK3576 + ROS2 SLAM建图与导航实战

前言文档定位与目标读者本文档面向具备一定ROS基础、希望深入理解并在实际项目中部署ROS2 Humble + SLAM Toolbox + Nav2完整建图与导航系统的机器人工程师。我们将从零开始，基于米尔RK3576开发板逐步构建一个功能完备的自主移动机器人系统，涵盖环境搭建、机器人建模、SLAM建图、自主导航以及生产级系统的优化与排错。为什么选择SLAM Toolbox + Nav2？在ROS

2026-03-12

米尔亮相德国嵌入式展2026 Embedded World

2026年3月10日，全球嵌入式系统领域的年度盛会——Embedded World在德国纽伦堡展览中心盛大启幕。作为领先的嵌入式处理器模组厂商，米尔电子携全系列嵌入式核心板、开发板及创新解决方案重磅亮相，与来自全球40多个国家的1100余家展商、32000余名专业观众共赴这场技术盛宴。Embedded World自创办以来，已成为全球规模最大、影响力最深远的嵌入式系统展览会，聚焦嵌入式硬件系统、软

2026-03-06

新品！高能效，低功耗，TI AM62L经典再进化

众所周知，TI经典工业MPUAM335x曾引领行业风潮，而2023年TI发布64位MPU通用工业处理器平台AM62x，为AM335x用户提供了无缝升级路径，实现更高性能的功能需求。AM62L作为AM62x家族的降本之作，在性能和资源上做了裁剪，成本上做了优化，延续AM62x的经典基因，以更低门槛推进低功耗、高能效的工业处理器普及，助力开发者以高效方案应对多样化的需求。米尔与TI再联手，推出基于TI

2026-03-06

爆火的OpenClaw! 告别云端,米尔RK3576本地部署

1.概述基于最近爆火的OpenClaw项目，本文将在MYD-LR3576开发板上部署OpenClaw ，并接入飞书机器人，实现本地自托管 AI 助手。1.1.硬件资源部署端：米尔基于RK3576核心板开发板（MYD-LR3576）、外接鼠标、键盘和屏幕图：米尔基于RK3576系列核心板开发板调试端：PC电脑（Windows系统、Ubuntu系统皆可）1.2. 软件资源MYD-LR3576开发板使用

2026-02-11

【干货】米尔T153开发板AD7616高速ADC采集系统详解

PART 01项目概述1.1 技术背景米尔MYD-YT153开发板搭载全志T153处理器，提供LocalBus（LBC）并行总线接口，适合连接高速外设。AD7616是ADI公司推出的16位高精度并行ADC，具有16通道差分输入，广泛应用于工业数据采集、仪器仪表等领域。1.2 项目目标验证MYD-YT153 LocalBus与AD7616的硬件兼容性提供完整的软件驱动实现方案评估系统在实际应用中的性