JavaCV攝像頭實戰(zhàn)之實現(xiàn)口罩檢測

更新時間：2022年01月10日 10:55:11 作者：程序員欣宸

這篇文章主要介紹了利用JavaCV實現(xiàn)口罩檢測，功能是檢測攝像頭內(nèi)的人是否帶了口罩，把檢測結(jié)果實時標(biāo)注在預(yù)覽窗口。感興趣的可以試一試

本篇概覽

本文是《JavaCV的攝像頭實戰(zhàn)》系列的第十四篇，如標(biāo)題所說，今天的功能是檢測攝像頭內(nèi)的人是否帶了口罩，把檢測結(jié)果實時標(biāo)注在預(yù)覽窗口，如下圖所示：

整個處理流程如下，實現(xiàn)口罩檢測的關(guān)鍵是將圖片提交到百度AI開放平臺，然后根據(jù)平臺返回的結(jié)果在本地預(yù)覽窗口標(biāo)識出人臉位置，以及此人是否帶了口罩：

問題提前告知

依賴云平臺處理業(yè)務(wù)的一個典型問題，就是處理速度受限

首先，如果您在百度AI開放平臺注冊的賬號是個人類型，那么免費的接口調(diào)用會被限制到一秒鐘兩次，如果是企業(yè)類型賬號，該限制是十次

其次，經(jīng)過實測，一次人臉檢測接口耗時300ms以上

最終，實際上一秒鐘只能處理兩幀，這樣的效果在預(yù)覽窗口展現(xiàn)出來，就只能是幻燈片效果了（低于每秒十五幀就能感受到明顯的卡頓）

因此，本文只適合基本功能展示，無法作為實際場景的解決方案

關(guān)于百度AI開放平臺

為了正常使用百度AI開放平臺的服務(wù)，您需要完成一些注冊和申請操作，詳情請參考《最簡單的人臉檢測（免費調(diào)用百度AI開放平臺接口）》

現(xiàn)在，如果您完成了百度AI開放平臺的注冊和申請，那么，現(xiàn)在手里應(yīng)該有可用的access_token，那么現(xiàn)在可以開始編碼了

編碼：添加依賴庫

本文繼續(xù)使用《JavaCV的攝像頭實戰(zhàn)之一：基礎(chǔ)》創(chuàng)建的simple-grab-push工程

首先是在pom.xml中增加okhttp和jackson依賴，分別用于網(wǎng)絡(luò)請求和JSON解析：

<dependency>
    <groupId>com.squareup.okhttp3</groupId>
    <artifactId>okhttp</artifactId>
    <version>3.10.0</version>
</dependency>
<dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-databind</artifactId>
    <version>2.11.0</version>
</dependency>

編碼：封裝請求和響應(yīng)百度AI開放平臺的代碼

接下來要開發(fā)一個服務(wù)類，這個服務(wù)類封裝了所有和百度AI開放平臺相關(guān)的代碼

首先，定義web請求的request對象FaceDetectRequest.java：

package com.bolingcavalry.grabpush.bean.request;

import com.fasterxml.jackson.annotation.JsonProperty;
import lombok.Data;

/**
 * @author willzhao
 * @version 1.0
 * @description 請求對象
 * @date 2022/1/1 16:21
 */
@Data
public class FaceDetectRequest {
    // 圖片信息(總數(shù)據(jù)大小應(yīng)小于10M)，圖片上傳方式根據(jù)image_type來判斷
    String image;

    // 圖片類型
    // BASE64:圖片的base64值，base64編碼后的圖片數(shù)據(jù)，編碼后的圖片大小不超過2M；
    // URL:圖片的 URL地址( 可能由于網(wǎng)絡(luò)等原因?qū)е孪螺d圖片時間過長)；
    // FACE_TOKEN: 人臉圖片的唯一標(biāo)識，調(diào)用人臉檢測接口時，會為每個人臉圖片賦予一個唯一的FACE_TOKEN，同一張圖片多次檢測得到的FACE_TOKEN是同一個。
    @JsonProperty("image_type")
    String imageType;

    // 包括age,expression,face_shape,gender,glasses,landmark,landmark150,quality,eye_status,emotion,face_type,mask,spoofing信息
    //逗號分隔. 默認(rèn)只返回face_token、人臉框、概率和旋轉(zhuǎn)角度
    @JsonProperty("face_field")
    String faceField;

    // 最多處理人臉的數(shù)目，默認(rèn)值為1，根據(jù)人臉檢測排序類型檢測圖片中排序第一的人臉（默認(rèn)為人臉面積最大的人臉），最大值120
    @JsonProperty("max_face_num")
    int maxFaceNum;

    // 人臉的類型
    // LIVE表示生活照：通常為手機、相機拍攝的人像圖片、或從網(wǎng)絡(luò)獲取的人像圖片等
    // IDCARD表示身份證芯片照：二代身份證內(nèi)置芯片中的人像照片
    // WATERMARK表示帶水印證件照：一般為帶水印的小圖，如公安網(wǎng)小圖
    // CERT表示證件照片：如拍攝的身份證、工卡、護(hù)照、學(xué)生證等證件圖片
    // 默認(rèn)LIVE
    @JsonProperty("face_type")
    String faceType;

    // 活體控制 檢測結(jié)果中不符合要求的人臉會被過濾
    // NONE: 不進(jìn)行控制
    // LOW:較低的活體要求(高通過率 低攻擊拒絕率)
    // NORMAL: 一般的活體要求(平衡的攻擊拒絕率, 通過率)
    // HIGH: 較高的活體要求(高攻擊拒絕率 低通過率)
    // 默認(rèn)NONE
    @JsonProperty("liveness_control")
    String livenessControl;

    // 人臉檢測排序類型
    // 0:代表檢測出的人臉按照人臉面積從大到小排列
    // 1:代表檢測出的人臉按照距離圖片中心從近到遠(yuǎn)排列
    // 默認(rèn)為0
    @JsonProperty("face_sort_type")
    int faceSortType;
}

其次，定義web響應(yīng)對象FaceDetectResponse.java：

package com.bolingcavalry.grabpush.bean.response;

import com.fasterxml.jackson.annotation.JsonProperty;
import lombok.Data;
import lombok.ToString;
import java.io.Serializable;
import java.util.List;

@Data
@ToString
public class FaceDetectResponse implements Serializable {
    // 返回碼
    @JsonProperty("error_code")
    String errorCode;
    // 描述信息
    @JsonProperty("error_msg")
    String errorMsg;
    // 返回的具體內(nèi)容
    Result result;

    @Data
    public static class Result {
        // 人臉數(shù)量
        @JsonProperty("face_num")
        private int faceNum;
        // 每個人臉的信息
        @JsonProperty("face_list")
        List<Face> faceList;

        /**
         * @author willzhao
         * @version 1.0
         * @description 檢測出來的人臉對象
         * @date 2022/1/1 16:03
         */
        @Data
        public static class Face {
            // 位置
            Location location;
            // 是人臉的置信度
            @JsonProperty("face_probability")
            double face_probability;
            // 口罩
            Mask mask;

            /**
             * @author willzhao
             * @version 1.0
             * @description 人臉在圖片中的位置
             * @date 2022/1/1 16:04
             */
            @Data
            public static class Location {
                double left;
                double top;
                double width;
                double height;
                double rotation;
            }

            /**
             * @author willzhao
             * @version 1.0
             * @description 口罩對象
             * @date 2022/1/1 16:11
             */
            @Data
            public static class Mask {
                int type;
                double probability;
            }
        }
    }
}

然后是服務(wù)類BaiduCloudService.java，把請求和響應(yīng)百度AI開放平臺的邏輯全部集中在這里，可見其實很簡單：根據(jù)圖片的base64字符串構(gòu)造請求對象、發(fā)POST請求（path是人臉檢測服務(wù)）、收到響應(yīng)后用Jackson反序列化成FaceDetectResponse對象：

package com.bolingcavalry.grabpush.extend;

import com.bolingcavalry.grabpush.bean.request.FaceDetectRequest;
import com.bolingcavalry.grabpush.bean.response.FaceDetectResponse;
import com.fasterxml.jackson.databind.DeserializationFeature;
import com.fasterxml.jackson.databind.ObjectMapper;
import okhttp3.*;
import java.io.IOException;

/**
 * @author willzhao
 * @version 1.0
 * @description 百度云服務(wù)的調(diào)用
 * @date 2022/1/1 11:06
 */
public class BaiduCloudService {

    OkHttpClient client = new OkHttpClient();

    static final MediaType JSON = MediaType.parse("application/json; charset=utf-8");

    static final String URL_TEMPLATE = "https://aip.baidubce.com/rest/2.0/face/v3/detect?access_token=%s";

    String token;

    ObjectMapper mapper = new ObjectMapper();

    public BaiduCloudService(String token) {
        this.token = token;

        // 重要：反序列化的時候，字符的字段如果比類的字段多，下面這個設(shè)置可以確保反序列化成功
        mapper.disable(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES);
    }
    
    /**
     * 檢測指定的圖片
     * @param imageBase64
     * @return
     */
    public FaceDetectResponse detect(String imageBase64) {
        // 請求對象
        FaceDetectRequest faceDetectRequest = new FaceDetectRequest();
        faceDetectRequest.setImageType("BASE64");
        faceDetectRequest.setFaceField("mask");
        faceDetectRequest.setMaxFaceNum(6);
        faceDetectRequest.setFaceType("LIVE");
        faceDetectRequest.setLivenessControl("NONE");
        faceDetectRequest.setFaceSortType(0);
        faceDetectRequest.setImage(imageBase64);

        FaceDetectResponse faceDetectResponse = null;

        try {
            // 用Jackson將請求對象序列化成字符串
            String jsonContent = mapper.writeValueAsString(faceDetectRequest);

            //
            RequestBody requestBody = RequestBody.create(JSON, jsonContent);
            Request request = new Request
                    .Builder()
                    .url(String.format(URL_TEMPLATE, token))
                    .post(requestBody)
                    .build();
            Response response = client.newCall(request).execute();
            String rawRlt = response.body().string();
            faceDetectResponse = mapper.readValue(rawRlt, FaceDetectResponse.class);
        } catch (IOException ioException) {
            ioException.printStackTrace();
        }

        return faceDetectResponse;
    }
}

服務(wù)類寫完了，接下來是主程序把整個邏輯串起來

DetectService接口的實現(xiàn)

熟悉《JavaCV的攝像頭實戰(zhàn)》系列的讀者應(yīng)該對DetectService接口不陌生了，為了在整個系列的諸多實戰(zhàn)中以統(tǒng)一的風(fēng)格實現(xiàn)抓取幀–>處理幀–>輸出處理結(jié)果這樣的流程，咱們定義了一個DetectService接口，每種不同幀處理業(yè)務(wù)按照自己的特點來實現(xiàn)此接口即可（例如人臉檢測、年齡檢測、性別檢測等）

先來回顧DetectService接口：

package com.bolingcavalry.grabpush.extend;

import org.bytedeco.javacv.Frame;
import org.bytedeco.javacv.OpenCVFrameConverter;
import org.bytedeco.opencv.opencv_core.*;
import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;

import static org.bytedeco.opencv.global.opencv_core.CV_8UC1;
import static org.bytedeco.opencv.global.opencv_imgproc.*;

/**
 * @author willzhao
 * @version 1.0
 * @description 檢測工具的通用接口
 * @date 2021/12/5 10:57
 */
public interface DetectService {

    /**
     * 根據(jù)傳入的MAT構(gòu)造相同尺寸的MAT，存放灰度圖片用于以后的檢測
     * @param src 原始圖片的MAT對象
     * @return 相同尺寸的灰度圖片的MAT對象
     */
    static Mat buildGrayImage(Mat src) {
        return new Mat(src.rows(), src.cols(), CV_8UC1);
    }

    /**
     * 檢測圖片，將檢測結(jié)果用矩形標(biāo)注在原始圖片上
     * @param classifier 分類器
     * @param converter Frame和mat的轉(zhuǎn)換器
     * @param rawFrame 原始視頻幀
     * @param grabbedImage 原始視頻幀對應(yīng)的mat
     * @param grayImage 存放灰度圖片的mat
     * @return 標(biāo)注了識別結(jié)果的視頻幀
     */
    static Frame detect(CascadeClassifier classifier,
                        OpenCVFrameConverter.ToMat converter,
                        Frame rawFrame,
                        Mat grabbedImage,
                        Mat grayImage) {

        // 當(dāng)前圖片轉(zhuǎn)為灰度圖片
        cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);

        // 存放檢測結(jié)果的容器
        RectVector objects = new RectVector();

        // 開始檢測
        classifier.detectMultiScale(grayImage, objects);

        // 檢測結(jié)果總數(shù)
        long total = objects.size();

        // 如果沒有檢測到結(jié)果，就用原始幀返回
        if (total<1) {
            return rawFrame;
        }

        // 如果有檢測結(jié)果，就根據(jù)結(jié)果的數(shù)據(jù)構(gòu)造矩形框，畫在原圖上
        for (long i = 0; i < total; i++) {
            Rect r = objects.get(i);
            int x = r.x(), y = r.y(), w = r.width(), h = r.height();
            rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0);
        }

        // 釋放檢測結(jié)果資源
        objects.close();

        // 將標(biāo)注過的圖片轉(zhuǎn)為幀，返回
        return converter.convert(grabbedImage);
    }

    /**
     * 初始化操作，例如模型下載
     * @throws Exception
     */
    void init() throws Exception;

    /**
     * 得到原始幀，做識別，添加框選
     * @param frame
     * @return
     */
    Frame convert(Frame frame);

    /**
     * 釋放資源
     */
    void releaseOutputResource();
}

再來看看本次實戰(zhàn)中DetectService接口的實現(xiàn)類BaiduCloudDetectService.java，有幾處要注意的地方稍后會提到：

package com.bolingcavalry.grabpush.extend;

import com.bolingcavalry.grabpush.bean.response.FaceDetectResponse;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.javacpp.Loader;
import org.bytedeco.javacv.Frame;
import org.bytedeco.javacv.Java2DFrameConverter;
import org.bytedeco.javacv.OpenCVFrameConverter;
import org.bytedeco.opencv.opencv_core.Mat;
import org.bytedeco.opencv.opencv_core.Point;
import org.bytedeco.opencv.opencv_core.Rect;
import org.bytedeco.opencv.opencv_core.Scalar;
import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;
import org.opencv.face.Face;
import sun.misc.BASE64Encoder;
import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.IOException;
import java.net.URL;
import java.util.List;
import static org.bytedeco.opencv.global.opencv_imgproc.*;
import static org.bytedeco.opencv.global.opencv_imgproc.CV_AA;

/**
 * @author willzhao
 * @version 1.0
 * @description 音頻相關(guān)的服務(wù)
 * @date 2021/12/3 8:09
 */
@Slf4j
public class BaiduCloudDetectService implements DetectService {

    /**
     * 每一幀原始圖片的對象
     */
    private Mat grabbedImage = null;

    /**
     * 百度云的token
     */
    private String token;

    /**
     * 圖片的base64字符串
     */
    private String base64Str;

    /**
     * 百度云服務(wù)
     */
    private BaiduCloudService baiduCloudService;

    private OpenCVFrameConverter.ToMat openCVConverter = new OpenCVFrameConverter.ToMat();

    private Java2DFrameConverter java2DConverter = new Java2DFrameConverter();

    private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();

    private BASE64Encoder encoder = new BASE64Encoder();

    /**
     * 構(gòu)造方法，在此指定模型文件的下載地址
     * @param token
     */
    public BaiduCloudDetectService(String token) {
        this.token = token;
    }

    /**
     * 百度云服務(wù)對象的初始化
     * @throws Exception
     */
    @Override
    public void init() throws Exception {
        baiduCloudService = new BaiduCloudService(token);
    }

    @Override
    public Frame convert(Frame frame) {
        // 將原始幀轉(zhuǎn)成base64字符串
        base64Str = frame2Base64(frame);

        // 記錄請求開始的時間
        long startTime = System.currentTimeMillis();

        // 交給百度云進(jìn)行人臉和口罩檢測
        FaceDetectResponse faceDetectResponse = baiduCloudService.detect(base64Str);

        // 如果檢測失敗，就提前返回了
        if (null==faceDetectResponse
         || null==faceDetectResponse.getErrorCode()
         || !"0".equals(faceDetectResponse.getErrorCode())) {
            String desc = "";
            if (null!=faceDetectResponse) {
                desc = String.format("，錯誤碼[%s]，錯誤信息[%s]", faceDetectResponse.getErrorCode(), faceDetectResponse.getErrorMsg());
            }

            log.error("檢測人臉失敗", desc);

            // 提前返回
            return frame;
        }

        log.info("檢測耗時[{}]ms，結(jié)果：{}", (System.currentTimeMillis()-startTime), faceDetectResponse);

        // 如果拿不到檢測結(jié)果，就返回原始幀
        if (null==faceDetectResponse.getResult()
        || null==faceDetectResponse.getResult().getFaceList()) {
            log.info("未檢測到人臉");
            return frame;
        }

        // 取出百度云的檢測結(jié)果，后面會逐個處理
        List<FaceDetectResponse.Result.Face> list = faceDetectResponse.getResult().getFaceList();
        FaceDetectResponse.Result.Face face;
        FaceDetectResponse.Result.Face.Location location;
        String desc;
        Scalar color;
        int pos_x;
        int pos_y;

        // 如果有檢測結(jié)果，就根據(jù)結(jié)果的數(shù)據(jù)構(gòu)造矩形框，畫在原圖上
        for (int i = 0; i < list.size(); i++) {
            face = list.get(i);

            // 每張人臉的位置
            location = face.getLocation();

            int x = (int)location.getLeft();
            int y = (int)location.getHeight();
            int w = (int)location.getWidth();
            int h = (int)location.getHeight();

            // 口罩字段的type等于1表示帶口罩，0表示未帶口罩
            if (1==face.getMask().getType()) {
                desc = "Mask";
                color = Scalar.GREEN;
            } else {
                desc = "No mask";
                color = Scalar.RED;
            }

            // 在圖片上框出人臉
            rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), color, 1, CV_AA, 0);

            // 人臉標(biāo)注的橫坐標(biāo)
            pos_x = Math.max(x-10, 0);
            // 人臉標(biāo)注的縱坐標(biāo)
            pos_y = Math.max(y-10, 0);

            // 給人臉做標(biāo)注，標(biāo)注是否佩戴口罩
             putText(grabbedImage, desc, new Point(pos_x, pos_y), FONT_HERSHEY_PLAIN, 1.5, color);
        }

        // 將標(biāo)注過的圖片轉(zhuǎn)為幀，返回
        return converter.convert(grabbedImage);
    }

    /**
     * 程序結(jié)束前，釋放人臉識別的資源
     */
    @Override
    public void releaseOutputResource() {
        if (null!=grabbedImage) {
            grabbedImage.release();
        }
    }

    private String frame2Base64(Frame frame) {
        grabbedImage = converter.convert(frame);
        BufferedImage bufferedImage = java2DConverter.convert(openCVConverter.convert(grabbedImage));
        ByteArrayOutputStream bStream = new ByteArrayOutputStream();
        try {
            ImageIO.write(bufferedImage, "png", bStream);
        } catch (IOException e) {
            throw new RuntimeException("bugImg讀取失敗:"+e.getMessage(),e);
        }

        return encoder.encode(bStream.toByteArray());
    }
}

上述代碼有以下幾點要注意：

1.整個BaiduCloudDetectService類，主要是對前面BaiduCloudService類的使用

2.convert方法中，拿到frame實例后會轉(zhuǎn)為base64字符串，用于提交到百度AI開放平臺做人臉檢測

3.百度AI開放平臺的檢測結(jié)果中有多個人臉檢測結(jié)果，這里要逐個處理：取出每個人臉的位置，以此位置在原圖畫矩形框，然后根據(jù)是否戴口罩在人臉上做標(biāo)記，戴口罩的是綠色標(biāo)記（包括矩形框），不戴口罩的是紅色矩形框

主程序

最后是主程序了，還是《JavaCV的攝像頭實戰(zhàn)》系列的套路，咱們來看看主程序的服務(wù)類定義好的框架

《JavaCV的攝像頭實戰(zhàn)之一：基礎(chǔ)》創(chuàng)建的simple-grab-push工程中已經(jīng)準(zhǔn)備好了父類AbstractCameraApplication，所以本篇繼續(xù)使用該工程，創(chuàng)建子類實現(xiàn)那些抽象方法即可

編碼前先回顧父類的基礎(chǔ)結(jié)構(gòu)，如下圖，粗體是父類定義的各個方法，紅色塊都是需要子類來實現(xiàn)抽象方法，所以接下來，咱們以本地窗口預(yù)覽為目標(biāo)實現(xiàn)這三個紅色方法即可：

新建文件PreviewCameraWithBaiduCloud.java，這是AbstractCameraApplication的子類，其代碼很簡單，接下來按上圖順序依次說明

先定義CanvasFrame類型的成員變量previewCanvas，這是展示視頻幀的本地窗口：

protected CanvasFrame previewCanvas

把前面創(chuàng)建的DetectService作為成員變量，后面檢測的時候會用到：

/**
     * 檢測工具接口
     */
    private DetectService detectService;

PreviewCameraWithBaiduCloud的構(gòu)造方法，接受DetectService的實例：

/**
     * 不同的檢測工具，可以通過構(gòu)造方法傳入
     * @param detectService
     */
    public PreviewCameraWithBaiduCloud(DetectService detectService) {
        this.detectService = detectService;
    }

然后是初始化操作，可見是previewCanvas的實例化和參數(shù)設(shè)置，還有檢測、識別的初始化操作：

    @Override
    protected void initOutput() throws Exception {
        previewCanvas = new CanvasFrame("攝像頭預(yù)覽", CanvasFrame.getDefaultGamma() / grabber.getGamma());
        previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
        previewCanvas.setAlwaysOnTop(true);

        // 檢測服務(wù)的初始化操作
        detectService.init();
    }

接下來是output方法，定義了拿到每一幀視頻數(shù)據(jù)后做什么事情，這里調(diào)用了detectService.convert檢測人臉并識別性別，然后在本地窗口顯示：

  @Override
    protected void output(Frame frame) {
        // 原始幀先交給檢測服務(wù)處理，這個處理包括物體檢測，再將檢測結(jié)果標(biāo)注在原始圖片上，
        // 然后轉(zhuǎn)換為幀返回
        Frame detectedFrame = detectService.convert(frame);
        // 預(yù)覽窗口上顯示的幀是標(biāo)注了檢測結(jié)果的幀
        previewCanvas.showImage(detectedFrame);
    }

最后是處理視頻的循環(huán)結(jié)束后，程序退出前要做的事情，先關(guān)閉本地窗口，再釋放檢測服務(wù)的資源：

    @Override
    protected void releaseOutputResource() {
        if (null!= previewCanvas) {
            previewCanvas.dispose();
        }

        // 檢測工具也要釋放資源
        detectService.releaseOutputResource();
    }

每一幀耗時太多，所以兩幀之間就不再額外間隔了：

 @Override
    protected int getInterval() {
        return 0;
    }

至此，功能已開發(fā)完成，再寫上main方法，代碼如下，請注意token的值是前面在百度AI開放平臺取得的access_token：

 public static void main(String[] args) {
        String token = "21.xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.xxxxxxx.xxxxxxxxxx.xxxxxx-xxxxxxxx";
        new PreviewCameraWithBaiduCloud(new BaiduCloudDetectService(token)).action(1000);
    }

至此，代碼寫完了，準(zhǔn)備好攝像頭開始驗證，群眾演員為了免費盒飯已經(jīng)在寒風(fēng)中等了很久啦