人脸疲劳检测应用-米尔基于RK3576核心板/开发板
2024-12-18
1877
来源：米尔电子
本篇源自：优秀创作者 lulugl
本文将介绍基于米尔电子MYD-LR3576开发板（米尔基于瑞芯微 RK3576开发板）的人脸疲劳检测方案测试。
米尔基于RK3576核心板/开发板
【前言】
人脸疲劳检测：一种通过分析人脸特征来判断一个人是否处于疲劳状态的技术。其原理主要基于计算机视觉和机器学习方法。当人疲劳时，面部会出现一些特征变化，如眼睛闭合程度增加、眨眼频率变慢、打哈欠、头部姿态改变等。
例如，通过检测眼睛的状态来判断疲劳程度是一个关键部分。正常情况下，人的眨眼频率相对稳定，而当疲劳时，眨眼频率会降低，并且每次眨眼时眼睛闭合的时间可能会延长。同时，头部可能会不自觉地下垂或者摇晃，这些特征都可以作为疲劳检测的依据。米尔MYC-LR3576采用8核CPU+搭载6 TOPS的NPU加速器，3D GPU，能够非常轻松的实现这个功能，下面就如何实现这一功能分享如下：
【硬件】
1、米尔MYC-LR3576开发板
2、USB摄像头
【软件】
1、v4l2
2、openCV
3、dlib库：dlib 是一个现代化的 C++ 工具包，它包含了许多用于机器学习、图像处理、数值计算等多种任务的算法和工具。它的设计目标是提供高性能、易于使用的库，并且在开源社区中被广泛应用。
【实现步骤】
1、安装python-opencv
2、安装dlib库
3、安装v4l2库
【代码实现】
1、引入cv2、dlib以及线程等：
import cv2 import dlib import numpy as np import time from concurrent.futures import ThreadPoolExecutor import threading
2、初始化dlib的面部检测器和特征点预测器
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')3、定义计算眼睛纵横比的函数
def eye_aspect_ratio(eye): A = np.linalg.norm(np.array(eye[1]) - np.array(eye[5])) B = np.linalg.norm(np.array(eye[2]) - np.array(eye[4])) C = np.linalg.norm(np.array(eye[0]) - np.array(eye[3])) ear = (A + B) / (2.0 * C) return ear
4、定义计算头部姿势的函数
def get_head_pose(shape): # 定义面部特征点的三维坐标 object_points = np.array([ (0.0, 0.0, 0.0), # 鼻尖 (0.0, -330.0, -65.0), # 下巴 (-225.0, 170.0, -135.0), # 左眼左眼角 (225.0, 170.0, -135.0), # 右眼右眼角 (-150.0, -150.0, -125.0), # 左嘴角 (150.0, -150.0, -125.0) # 右嘴角 ], dtype=np.float32) image_pts = np.float32([shape[i] for i in [30, 8, 36, 45, 48, 54]]) size = frame.shape focal_length = size[1] center = (size[1] // 2, size[0] // 2) camera_matrix = np.array( [[focal_length, 0, center[0]], [0, focal_length, center[1]], [0, 0, 1]], dtype="double" ) dist_coeffs = np.zeros((4, 1)) (success, rotation_vector, translation_vector) = cv2.solvePnP( object_points, image_pts, camera_matrix, dist_coeffs, flags=cv2.SOLVEPNP_ITERATIVE ) rmat, _ = cv2.Rodrigues(rotation_vector) angles, _, _, _, _, _ = cv2.RQDecomp3x3(rmat) return angles
5、定义眼睛纵横比阈值和连续帧数阈值
EYE_AR_THRESH = 0.3 EYE_AR_CONSEC_FRAMES = 48
6、打开摄像头
我们先使用v4l2-ctl --list-devices来例出接在开发板上的列表信息：
USB Camera: USB Camera (usb-xhci-hcd.0.auto-1.2): /dev/video60 /dev/video61 /dev/media7
在代码中填入60为摄像头的编号：
cap = cv2.VideoCapture(60) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 480) # 降低分辨率 cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 320)
7、创建多线程处理函数，实现采集与分析分离：
# 多线程处理函数
def process_frame(frame):
global COUNTER, TOTAL
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
faces = detector(gray, 0) # 第二个参数为0，表示不使用upsampling
for face in faces:
landmarks = predictor(gray, face)
shape = [(landmarks.part(i).x, landmarks.part(i).y) for i in range(68)]
left_eye = shape[36:42]
right_eye = shape[42:48]
left_ear = eye_aspect_ratio(left_eye)
right_ear = eye_aspect_ratio(right_eye)
ear = (left_ear + right_ear) / 2.0
if ear < EYE_AR_THRESH:
with lock:
COUNTER += 1
else:
with lock:
if COUNTER >= EYE_AR_CONSEC_FRAMES:
TOTAL += 1
COUNTER = 0
# 绘制68个特征点
for n in range(0, 68):
x, y = shape[n]
cv2.circle(frame, (x, y), 2, (0, 255, 0), -1)
cv2.putText(frame, f"Eye AR: {ear:.2f}", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
cv2.putText(frame, f"Blink Count: {TOTAL}", (10, 60), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
# 计算头部姿势
angles = get_head_pose(shape)
pitch, yaw, roll = angles
cv2.putText(frame, f"Pitch: {pitch:.2f}", (10, 120), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
cv2.putText(frame, f"Yaw: {yaw:.2f}", (10, 150), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
cv2.putText(frame, f"Roll: {roll:.2f}", (10, 180), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
# 判断疲劳状态
if COUNTER >= EYE_AR_CONSEC_FRAMES or abs(pitch) > 30 or abs(yaw) > 30 or abs(roll) > 30:
cv2.putText(frame, "Fatigue Detected!", (10, 210), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
return frame8、创建图像显示线程：
with ThreadPoolExecutor(max_workers=2) as executor:
future_to_frame = {}
while True:
ret, frame = cap.read()
if not ret:
break
# 提交当前帧到线程池
future = executor.submit(process_frame, frame.copy())
future_to_frame[future] = frame
# 获取已完成的任务结果
for future in list(future_to_frame.keys()):
if future.done():
processed_frame = future.result()
cv2.imshow("Frame", processed_frame)
del future_to_frame[future]
break
# 计算帧数
fps_counter += 1
elapsed_time = time.time() - start_time
if elapsed_time > 1.0:
fps = fps_counter / elapsed_time
fps_counter = 0
start_time = time.time()
cv2.putText(processed_frame, f"FPS: {fps:.2f}", (10, 90), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
if cv2.waitKey(1) & 0xFF == ord('q'):
整体代码如下：
import cv2
import dlib
import numpy as np
import time
from concurrent.futures import ThreadPoolExecutor
import threading
# 初始化dlib的面部检测器和特征点预测器
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
# 修改字体大小
font_scale = 0.5 # 原来的字体大小是0.7，现在改为0.5
# 定义计算眼睛纵横比的函数
def eye_aspect_ratio(eye):
A = np.linalg.norm(np.array(eye[1]) - np.array(eye[5]))
B = np.linalg.norm(np.array(eye[2]) - np.array(eye[4]))
C = np.linalg.norm(np.array(eye[0]) - np.array(eye[3]))
ear = (A + B) / (2.0 * C)
return ear
# 定义计算头部姿势的函数
def get_head_pose(shape):
# 定义面部特征点的三维坐标
object_points = np.array([
(0.0, 0.0, 0.0), # 鼻尖
(0.0, -330.0, -65.0), # 下巴
(-225.0, 170.0, -135.0), # 左眼左眼角
(225.0, 170.0, -135.0), # 右眼右眼角
(-150.0, -150.0, -125.0), # 左嘴角
(150.0, -150.0, -125.0) # 右嘴角
], dtype=np.float32)
image_pts = np.float32([shape[i] for i in [30, 8, 36, 45, 48, 54]])
size = frame.shape
focal_length = size[1]
center = (size[1] // 2, size[0] // 2)
camera_matrix = np.array(
[[focal_length, 0, center[0]],
[0, focal_length, center[1]],
[0, 0, 1]], dtype="double"
)
dist_coeffs = np.zeros((4, 1))
(success, rotation_vector, translation_vector) = cv2.solvePnP(
object_points, image_pts, camera_matrix, dist_coeffs, flags=cv2.SOLVEPNP_ITERATIVE
)
rmat, _ = cv2.Rodrigues(rotation_vector)
angles, _, _, _, _, _ = cv2.RQDecomp3x3(rmat)
return angles
# 定义眼睛纵横比阈值和连续帧数阈值
EYE_AR_THRESH = 0.3
EYE_AR_CONSEC_FRAMES = 48
# 初始化计数器
COUNTER = 0
TOTAL = 0
# 创建锁对象
lock = threading.Lock()
# 打开摄像头
cap = cv2.VideoCapture(60)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 480) # 降低分辨率
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 320)
# 初始化帧计数器和时间戳
fps_counter = 0
start_time = time.time()
# 多线程处理函数
def process_frame(frame):
global COUNTER, TOTAL
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
faces = detector(gray, 0) # 第二个参数为0，表示不使用upsampling
for face in faces:
landmarks = predictor(gray, face)
shape = [(landmarks.part(i).x, landmarks.part(i).y) for i in range(68)]
left_eye = shape[36:42]
right_eye = shape[42:48]
left_ear = eye_aspect_ratio(left_eye)
right_ear = eye_aspect_ratio(right_eye)
ear = (left_ear + right_ear) / 2.0
if ear < EYE_AR_THRESH:
with lock:
COUNTER += 1
else:
with lock:
if COUNTER >= EYE_AR_CONSEC_FRAMES:
TOTAL += 1
COUNTER = 0
# 绘制68个特征点
for n in range(0, 68):
x, y = shape[n]
cv2.circle(frame, (x, y), 2, (0, 255, 0), -1)
cv2.putText(frame, f"Eye AR: {ear:.2f}", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
cv2.putText(frame, f"Blink Count: {TOTAL}", (10, 60), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
# 计算头部姿势
angles = get_head_pose(shape)
pitch, yaw, roll = angles
cv2.putText(frame, f"Pitch: {pitch:.2f}", (10, 120), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
cv2.putText(frame, f"Yaw: {yaw:.2f}", (10, 150), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
cv2.putText(frame, f"Roll: {roll:.2f}", (10, 180), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
# 判断疲劳状态
if COUNTER >= EYE_AR_CONSEC_FRAMES or abs(pitch) > 30 or abs(yaw) > 30 or abs(roll) > 30:
cv2.putText(frame, "Fatigue Detected!", (10, 210), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
return frame
with ThreadPoolExecutor(max_workers=2) as executor:
future_to_frame = {}
while True:
ret, frame = cap.read()
if not ret:
break
# 提交当前帧到线程池
future = executor.submit(process_frame, frame.copy())
future_to_frame[future] = frame
# 获取已完成的任务结果
for future in list(future_to_frame.keys()):
if future.done():
processed_frame = future.result()
cv2.imshow("Frame", processed_frame)
del future_to_frame[future]
break
# 计算帧数
fps_counter += 1
elapsed_time = time.time() - start_time
if elapsed_time > 1.0:
fps = fps_counter / elapsed_time
fps_counter = 0
start_time = time.time()
cv2.putText(processed_frame, f"FPS: {fps:.2f}", (10, 90), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
# 释放摄像头并关闭所有窗口
cap.release()
cv2.destroyAllWindows()【总结】
【米尔MYC-LR3576核心板及开发板】
这块开发板性能强大，能轻松实现对人脸的疲劳检测，通过计算结果后进入非常多的工业、人工智能等等的实用功能。
米尔RK3576开发板折扣活动火热进行中，购买链接：
2026-02-11
【干货】米尔T153开发板AD7616高速ADC采集系统详解
PART 01项目概述1.1 技术背景米尔MYD-YT153开发板搭载全志T153处理器，提供LocalBus（LBC）并行总线接口，适合连接高速外设。AD7616是ADI公司推出的16位高精度并行ADC，具有16通道差分输入，广泛应用于工业数据采集、仪器仪表等领域。1.2 项目目标验证MYD-YT153 LocalBus与AD7616的硬件兼容性提供完整的软件驱动实现方案评估系统在实际应用中的性
2026-01-29
新法规欧标AC桩一站式技术实现方案
面对欧盟Delegated Regulation (EU) 2025/656条例设定的明确技术路线与2027年强制生效节点，开发符合 EN ISO 15118-20:2022 标准的下一代智能交流充电桩，已成为产品进入欧洲市场的唯一路径。这意味着，传统PWM通信方式即将淘汰，全面转向基于 GreenPHY电力线载波（PLC）的高层通信，并强制集成即插即充（PnC）与车辆到电网（V2G）能力。01硬
2026-01-22
看过来，米尔RK3576 NPU方案你用对了吗？
本文基于米尔MYD-LR3576开发板，详细记录了如何利用500万像素USB摄像头实现640×640分辨率的YOLO5s目标检测，并将结果实时输出至1080P屏幕的全流程。通过系统级的软硬件协同优化，最终将端到端延迟控制在40ms以内，实现了 20FPS的稳定实时检测性能。文章重点剖析了摄像头特性分析、显示通路选择、RGA硬件加速、RKNN NPU集成等关键技术环节，为嵌入式AI视觉系统的开发与调
2026-01-22
全场景工控与网关解决方案：从入门到旗舰的一站式选型
在工业自动化与物联网向深度智能迈进的浪潮中，工业设备对成本控制、运行可靠性及智能算力的要求正持续攀升。无论是追求极致性价比的基础工控终端，还是需要强劲算力支撑的AIoT边缘节点，开发者都在为不同场景寻觅适配的“工业之芯”。对此，我们基于MYC-YR3506、MYC-LT536、MYC-LR3576三款核心板，打造了覆盖低、中、高端全场景的工业控制与网关解决方案，以一站式选型体系，助力工业产品实现“
2026-01-15
当国产芯遇上机器人：RK3576的ROS2奇幻之旅
当RK3576的强劲“大脑”（四核A72+四核A53）与强大的GPU、VPU、NPU加速模块相遇，一场高性价比的机器人开发革命正在悄然发生。我们成功将完整的Ubuntu 22.04与ROS2 Humble生态系统，完美移植到了这颗国产芯片上。一个稳定、全功能的机器人软件开发平台已经就绪，现在就来一起探索它的强大魅力！一、系统启动与基础性能展示1.硬件平台简介开发板：MYD-LR3576存储：eMM
2026-01-15
内置全栈安全，一站式满足CRA法案与IEC 62443标准-米尔MYC-LF25X核心板
面对日益严峻的网络安全挑战，欧盟《网络弹性法案》（CRA）的出台与工业安全标准IEC 62443的广泛应用，为设备制造商筑起了新的合规门槛。安全不再是可选功能，而是产品设计的强制基石。米尔电子推出的MYC-LF25X嵌入式处理器模组，基于已通过SESIP 3级认证的意法半导体STM32MP257F处理器，提供从硬件信任根到应用层的全栈、可验证安全架构，是您高效开发符合国际法规与标准的安全关键型应用
2025-12-26
补贴太香了！158元买米尔NXP i.MX 91开发板，限购300套
太香了！限时补贴狂欢，回馈您的支持！米尔基于NXP i.MX 91开发板仅158元，限量300套，先到先得。该开发板基于新一代NXP i.MX 91系列处理器设计，搭载Arm Cortex-A55核心，集成双千兆以太网和双 USB 端口等丰富外设，支持Linux、Android等主流操作系统，赋能新一代入门级Linux应用，适用于工业控制、智能终端、物联网等领域的原型开发与教学实践。产品型号：MY
2025-12-19
Buildroot MQTT-Modbus 网关开发，实现设备远程监控方案-米尔RK3506
在工业物联网与智能家居场景中，远程设备监控的核心痛点是工业总线协议与物联网协议的兼容性问题。基于RK3506 Buildroot系统开发的MQTT-Modbus网关产品，通过协议桥接技术完美解决这一难题，为低成本、高可靠的远程监控提供了高效解决方案。一、核心开发平台与技术选型硬件平台选用RK3506处理器作为网关核心硬件，该芯片具备低功耗、高性价比特性，支持多接口扩展，完全适配工业级嵌入式场景需求
2025-12-19
SDK重磅升级，RK3506核心板解锁三核A7实时控制新架构
在工业控制与边缘智能领域，开发者的核心需求始终明确：在可控的成本内，实现可靠的实时响应、稳定的通信与高效的开发部署。米尔电子基于RK3506处理器打造的MYC-YR3506核心板平台，近期完成了一次以“实时性”和“可用性”为核心的SDK战略升级，致力于将多核架构的潜力转化为工程师可快速落地的产品力。本次升级围绕两大主线展开：系统生态的多样化与实时能力的深度释放。我们不仅提供了从轻量到丰富的操作系统
2025-12-11
赋能欧标充电桩市场：OCPP协议实战开发指南
随着全球电动汽车产业的迅猛发展，充电基础设施的智能化与标准化已成为行业迫切需求。OCPP（Open Charge Point Protocol即开放充电点协议）作为连接充电桩与中央管理系统的"通用语言"，正成为解决设备互联互通难题的关键技术。一、OCPP：为何是出海欧标的必选项？OCPP是一个开放、标准的通信协议，它确保了不同制造商生产的充电桩能够与任何兼容的后台管理系统进行无