基于iMX6ULL处理器的监控平台体验--米尔MYD-Y6ULX-V2开发板

07.




镜像烧录ssd1306_bin部署

我所使用的SSD1306 OLED使用IIC通讯的，之前我也使用过一个Linux环境下的ssd1306工具。

经过尝试，这个工具可以使用MYD-Y6ULX-V2开发板的编译工具链进行编译和使用。

• 下载地址：https://github.com/armlabs/ssd1306_linux/archive/refs/heads/master.zip
• 交叉编译：

修改配置文件 Makefile，具体修改如下：

修改完成后，进行编译，编译完成后，部署ssd1306_bin一个文件即可

make
ls -l ssd1306_bin

# 部署文件到开发板
scp ssd1306_bin root@192.168.1.177:~/mjpeg_server/

• 硬件连接

参考手册上的说明，进行硬件的连接。我所使用的OLED使用到了VDD_5V、DGND、I2C2_SCL、I2C2_SDA。务必要注意所使用的OLED的电压，有的只能使用3.3V，使用5V会完蛋。

• OLED显示测试

上述硬件连接完成后，就可以远程连接到开发板，进行测试了。

然后，进行显示测试

cd ~/mjpeg_server
./ssd1306_bin -n 1 -I 128x64
./ssd1306_bin -n 1 -c
./ssd1306_bin -n 1 -r 0
./ssd1306_bin -n 1 -x 0 -y -0 -m "Hello World!nnI'm MYD-Y6ULX-V2."

08.




开发板应用综合部署

完成以上两项工作，开发板部分的基础工作就完成了，可以写一个启动脚本来进行控制，具体如下：

为了安全访问，在脚本中设置了访问的用户名和密码，可以根据实际需要进行修改。
以下的操作，都需要远程连接到开发板上进行。

• 服务启动脚本：~/mjpeg_server/mjpeg_server_start.sh

#!/bin/bash

cd "${0%/*}"

killall mjpg_streamer >/dev/nul 2>&1
device=$(v4l2-ctl --list-devices | grep 'Camera' -A1 | grep /dev/video | head -1 | awk '{print $NF}')
./mjpg_streamer -i "input_uvc.so -d $device -n -r 640x480 -f 10" -o "output_http.so -w ./ -c test:test123" &

./ssd1306_bin -n 1 -I 128x64
./ssd1306_bin -n 1 -r 0

let count=0
while true
do
    nowdate="$(date '+%Y-%m-%d %H:%M:%S')"
    load="$(w | head -1 | sed -e 's/^.*average: //' | cut -d ',' -f 1)"
    temp=$(echo "scale=1;$(cat /sys/devices/virtual/thermal/thermal_zone0/temp)/1000" | bc)
    ipstr=" ${nowdate}n  L:${load}   T:${temp}"
    if [[ $count -gt 0 ]];then
        ./ssd1306_bin -n 1 -x 0 -y 0 -m "${ipstr}"
    else
        ./ssd1306_bin -n 1 -c
        ipstr="${ipstr}n**-*-IP Address-*-**"
        i=0
        for ip in $(ip addr show | grep -v "127.0.0.1" | awk -F'[ /]+' '{if($0 ~ / inet /) print $3;}')
        do
            let i=i+1
            ipstr="${ipstr}nIP${i}: ${ip}"
        done

        ipstr="${ipstr}nSRV: ip:8080/?action"
        ipstr="${ipstr}n             =stream"

        echo -e "${ipstr}"
        ./ssd1306_bin -n 1 -x 0 -y 0 -m "${ipstr}"
    fi
    let count=count+1
    if [[ $count -gt 15 ]];then
        let count=0
    fi
    sleep 1
done

• 开机启动：

设置好启动脚本的权限

chmod u+x /home/root/mjpeg_server/mjpeg_server_start.sh

从/etc/rc.local启动上述脚本，将下述指令，添加到/etc/rc.local即可

screen -S mjpeg_server /home/root/mjpeg_server/mjpeg_server_start.sh

配置完成后，就可以重新启动开发板，OLED显示屏上会显示对应的信息：

然后在电脑上，打开之前的访问地址，进行测试了。



09.




PyQT5应用开发

MYD-Y6ULX-V2开发板的full环境支持使用QT5进行应用开发，但实际使用中，需要屏幕配合。
我手头没有对应的屏幕，所以这一步的工作，就在电脑上进行，并使用PyQT5进行开发。
具体要做的工作如下：

• 操作界面开发

• mjpeg流读取显示

• 人脸识别

其中人脸识别部分，参考了：* opencv快速入门人脸检测与人脸识别

涉及到具体的代码的开发，我就直接上代码了，感兴趣的同学，可以查看代码进行学习。

from PyQt5 import QtWidgets
from PyQt5.QtGui import QImage, QPixmap, QKeySequence
from PyQt5.QtCore import QThread
import sys, cv2, threading, random, signal
import numpy as np
import socket
import time, datetime
import requests
from requests.auth import HTTPBasicAuth

# 0-摄像头 1-socket 2-from remote
CAMERA_SOURCE = 2
CAMERA_LOCAL_INDEX = 0  # 如果使用本地摄像头，则表示其videoN的N
CAMERA_SOCKET_PORT = 8888 # 如果视同socket，设置端口
# CAMERA_REMOTE_URL = "http://192.168.1.15:8080/live.mjpg"
CAMERA_REMOTE_URL = "http://192.168.1.177:8080/?action=stream"
CAMERA_SOURCE_NAME = ["USB摄像头", "网络图像流", "米尔MYD-Y6ULX-V2摄像头监控"]
AUTH_CONFIG = {"user":"test","pass":"test123"}
FACE_DETECTION = True

if FACE_DETECTION == True:
    # https://blog.csdn.net/FontThrone/article/details/105314973
    # https://github.com/FontTian/DS-Exhibitio
    face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
    face_cascade.load('./haarcascades/haarcascade_frontalface_default.xml')
    face_box_colors = [
        (255, 0, 0),
        (0, 255, 0),
        (0, 255, 0),
        (255, 255, 0),
        (255, 0, 255),
        (0, 255, 255),
        (255, 128, 128),
        (128, 255, 128),
        (128, 255, 128),
        (255, 255, 128),
        (255, 128, 255),
        (128, 255, 255)
    ]

# 应用定义
app = QtWidgets.QApplication(sys.argv)
window_w, window_h = 640, 480               # 窗口宽度和高度
scale = 0.58                                # 视频信息宽高比

# 界面定义
Form = QtWidgets.QWidget()
Form.setWindowTitle(CAMERA_SOURCE_NAME[CAMERA_SOURCE])
Form.resize(window_w, window_h)

# 窗口大小改变时自动调整按钮
def windowResize(self):
    global window_w, window_h, scale
    window_w = Form.width()                 # 窗口宽度
    window_h = Form.height()                # 窗口高度
    label.setGeometry(0,0, window_w, int(window_w*scale))  # 调整 QLabel 尺寸
    btn1.setGeometry(10, window_h-40,70,30)  # 调整按钮位置
    btn2.setGeometry(80, window_h-40,70,30) # 调整按钮位置
    btn3.setGeometry(window_w - 80, window_h-40,70,30) # 调整按钮位置

Form.resizeEvent = windowResize             # 设置窗口大小改变时触发

# 关闭应用时的处理
ocv = True                                  # 设置是否处理视频
def closeOpenCV(self):
    global ocv, output
    ocv = False                             # 关闭窗口时，停止处理视频
    print("关闭程序")
    try:
        output.release()                    # 关闭窗口时，释放视频处理资源
    except:
        pass

Form.closeEvent = closeOpenCV               # 窗口关闭时触发

label = QtWidgets.QLabel(Form)
label.setGeometry(0,0, window_w, int(window_w*scale)) # 设置 QLabel 的位置和大小

# 存储文件时使用的文件名
def rename():
    # return str(random.random()*10).replace('.','')
    return datetime.datetime.now().strftime('%Y%m%d_%H%M%S')

photo = False                                # 按下拍照按钮时，设置处于拍照状态

# 按下拍照按钮时的处理
def takePhoto():
    global photo
    photo = True                            # 设定拍照状态为True
    print("马上拍照")

btn1 = QtWidgets.QPushButton(Form)
btn1.setGeometry(10, window_h-40,70,30)      # 设置拍照按钮的位置和大小
btn1.setText('拍照')
btn1.clicked.connect(takePhoto)             # 按下拍照按钮时触发

fourcc = cv2.VideoWriter_fourcc(*'mp4v')    # 设置视频中的存储格式
recorderType = False                        # 按下录像按钮时，设置处于录像状态

# 按下录像按钮时的处理
def recordVideo():
    global recorderType, output
    if recorderType == False:
        # 如果按下按钮时没有在录像，则开始录像
        # 设定存储的视频信息
        output = cv2.VideoWriter(f'videos/{rename()}.mp4', fourcc, 20.0, (window_w, int(window_w*scale)))
        recorderType = True                   # 设置正在录制状态
        btn2.setGeometry(80, window_h-40,200,30)  # 根据显示内容设置大小
        btn2.setText('录像中，点击停止保存')
    else:
        # 如果按下按钮时正在在录像，则停止录像
        output.release()                    # 释放视频存储资源
        recorderType = False                # 设置非录制状态
        btn2.setGeometry(80, window_h-40,70,30)   # 根据显示内容设置大小
        btn2.setText('录像')

btn2 = QtWidgets.QPushButton(Form)
btn2.setGeometry(80, window_h-40,70,30)      # 设置录像按钮的位置和大小
btn2.setText('录像')
btn2.clicked.connect(recordVideo)           # 按下录像按钮时触发

# 按下退出按钮时的处理
def quitApp():
    global video_server
    print("退出程序")
    closeOpenCV(False)
    app = QtWidgets.QApplication.instance()
    app.quit()

btn3 = QtWidgets.QPushButton(Form)
btn3.setGeometry(window_w-80, window_h-40,70,30)      # 设置退出按钮的位置和大小
btn3.setText('退出')
btn3.clicked.connect(quitApp)           # 按下退出按钮时触发

# 人脸识别处理
def face_detection_process(frame):
    if FACE_DETECTION == True:
        face_count = 0
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        faces = face_cascade.detectMultiScale(gray, 1.3, 5)
        for (x, y, w, h) in faces:
            color = face_box_colors[face_count % len(face_box_colors)]
            cv2.rectangle(frame, (x, y), (x + w, y + h), color, 2)
            face_count+=1

# 此处省略本项目用不到的数百行...

# mjpeg数据流处理服务
def mjpeg_remote_server():
    global window_w, window_h, scale, photo, output, recorderType, ocv

    r = requests.get(CAMERA_REMOTE_URL, auth=HTTPBasicAuth(AUTH_CONFIG["user"], AUTH_CONFIG["pass"]), stream=True)
    if(r.status_code != 200):
        print("Received unexpected status code {}".format(r.status_code))
        return

    count = 0
    is_first = False
    recv_data_mjpeg = bytes()
    for recv_data in r.iter_content(chunk_size=1024):
        if not ocv:
            break

        count+=1
        if count % 10000 == 1:
            print("trecv stream success")
        recv_data_mjpeg += recv_data

        a = recv_data_mjpeg.find(b'xffxd8')
        b = recv_data_mjpeg.find(b'xffxd9')
        if not (a != -1 and b != -1):
            continue

        mjpg_data_raw = recv_data_mjpeg[a:b+2]
        recv_data_mjpeg = recv_data_mjpeg[b+2:]

        mjpeg_data = np.frombuffer(mjpg_data_raw, 'uint8')
        img = cv2.imdecode(mjpeg_data, cv2.IMREAD_COLOR)
        # cv2.imshow('stream', img)

        if not is_first:
            is_first = True
            sp = img.shape
            sz1 = sp[0] #height(rows) of image
            sz2 = sp[1] #width(colums) of image
            sz3 = sp[2] #the pixels value is made up of three primary colors
            print('网络图像: width=%d theight=%d tnumber=%d' % (sz1, sz2, sz3))
            scale = sz1/sz2

        frame = cv2.resize(img, (window_w, int(window_w*scale)))  # 改变帧大小
        if photo == True:
            name = rename()                 # 设置文件名称
            name_save = f'photos/{name}.jpg'
            print("照片存储：%s" % name_save)
            cv2.imwrite(name_save, frame) # 存储图片
            photo = False                   # 拍照完，设置非拍照状态
        if recorderType == True:
            output.write(frame)             # 按下录像按钮时，输出到存储文件

        face_detection_process(frame)
        frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)  # 设置为 RGB
        height, width, channel = frame.shape
        bytesPerline = channel * width
        img = QImage(frame, width, height, bytesPerline, QImage.Format_RGB888)
        label.setPixmap(QPixmap.fromImage(img))   # 显示


if CAMERA_SOURCE == 2:
    video_server = QThread()
    video_server.run = mjpeg_remote_server
    video_server.start()

Form.show()
sys.exit(app.exec_())

设置好开发板的MJPEG视频地址，然后启动上面的python程序，就能打开如下界面了：

如果画面中有人脸，就会自动识别了：