JavaCV實(shí)戰(zhàn)之調(diào)用攝像頭基礎(chǔ)詳解
關(guān)于《JavaCV的攝像頭實(shí)戰(zhàn)》系列
《JavaCV的攝像頭實(shí)戰(zhàn)》顧名思義,是使用JavaCV框架對(duì)攝像頭進(jìn)行各種處理的實(shí)戰(zhàn)集合,這是欣宸作為一名Java程序員,在計(jì)算機(jī)視覺(jué)(computer vision)領(lǐng)域的一個(gè)原創(chuàng)系列,通過(guò)連續(xù)的編碼實(shí)戰(zhàn),與您一同學(xué)習(xí)掌握視頻、音頻、圖片等資源的各種操作
另外要說(shuō)明的是,整個(gè)系列使用的攝像頭是USB攝像圖或者筆記本的內(nèi)置攝像頭,并非基于網(wǎng)絡(luò)訪問(wèn)的智能攝像頭
本篇概覽
作為整個(gè)系列的開篇,本文非常重要,從環(huán)境到代碼的方方面面,都會(huì)為后續(xù)文章打好基礎(chǔ),簡(jiǎn)單來(lái)說(shuō)本篇由以下內(nèi)容構(gòu)成:
1.環(huán)境和版本信息
2.基本套路分析
3.基本框架編碼
4.部署媒體服務(wù)器
接下來(lái)就從環(huán)境和版本信息開始吧
環(huán)境和版本信息
現(xiàn)在就把實(shí)戰(zhàn)涉及的軟硬件環(huán)境交代清楚,您可以用來(lái)參考:
操作系統(tǒng):win10
JDK:1.8.0_291
maven:3.8.1
IDEA:2021.2.2(Ultimate Edition)
JavaCV:1.5.6
媒體服務(wù)器:基于dockek部署的nginx-rtmp,鏡像是:alfg/nginx-rtmp:v1.3.1
源碼下載
《JavaCV的攝像頭實(shí)戰(zhàn)》的完整源碼可在GitHub下載到,地址和鏈接信息如下表所示(https://github.com/zq2599/blog_demos):

這個(gè)git項(xiàng)目中有多個(gè)文件夾,本篇的源碼在javacv-tutorials文件夾下,如下圖紅框所示:

javacv-tutorials里面有多個(gè)子工程,《JavaCV的攝像頭實(shí)戰(zhàn)》系列的代碼在simple-grab-push工程下:

基本套路分析
全系列有多個(gè)基于攝像頭的實(shí)戰(zhàn),例如窗口預(yù)覽、把視頻保存為文件、把視頻推送到媒體服務(wù)器等,其基本套路是大致相同的,用最簡(jiǎn)單的流程圖表示如下:

從上圖可見(jiàn),整個(gè)流程就是不停的從攝像頭取幀,然后處理和輸出
基本框架編碼
看過(guò)了上面基本套路,聰明的您可能會(huì)有這樣的想法:既然套路是固定的,那代碼也可以按套路固定下來(lái)吧
沒(méi)錯(cuò),接下來(lái)就考慮如何把代碼按照套路固定下來(lái),我的思路是開發(fā)名為AbstractCameraApplication的抽象類,作為《JavaCV的攝像頭實(shí)戰(zhàn)》系列每個(gè)應(yīng)用的父類,它負(fù)責(zé)搭建整個(gè)初始化、取幀、處理、輸出的流程,它的子類則專注幀數(shù)據(jù)的具體處理和輸出,整個(gè)體系的UML圖如下所示:

接下來(lái)就該開發(fā)抽象類AbstractCameraApplication.java了,編碼前先設(shè)計(jì),下圖是AbstractCameraApplication的主要方法和執(zhí)行流程,粗體全部是方法名,紅色塊代表留給子類實(shí)現(xiàn)的抽象方法:

接下來(lái)是創(chuàng)建工程,我這里創(chuàng)建的是maven工程,pom.xml如下:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<parent>
<artifactId>javacv-tutorials</artifactId>
<groupId>com.bolingcavalry</groupId>
<version>1.0-SNAPSHOT</version>
</parent>
<modelVersion>4.0.0</modelVersion>
<groupId>com.bolingcavalry</groupId>
<version>1.0-SNAPSHOT</version>
<artifactId>simple-grab-push</artifactId>
<packaging>jar</packaging>
<properties>
<!-- javacpp當(dāng)前版本 -->
<javacpp.version>1.5.6</javacpp.version>
</properties>
<dependencies>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
</dependency>
<dependency>
<groupId>ch.qos.logback</groupId>
<artifactId>logback-classic</artifactId>
<version>1.2.3</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-to-slf4j</artifactId>
<version>2.13.3</version>
</dependency>
<!-- javacv相關(guān)依賴,一個(gè)就夠了 -->
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>javacv-platform</artifactId>
<version>${javacpp.version}</version>
</dependency>
</dependencies>
</project>
接下來(lái)就是AbstractCameraApplication.java的完整代碼,這些代碼的流程和方法命名都與上圖保持一致,并且添加了詳細(xì)的注釋,有幾處要注意的地方稍后會(huì)提到:
package com.bolingcavalry.grabpush.camera;
import lombok.Getter;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.ffmpeg.global.avutil;
import org.bytedeco.javacv.*;
import org.bytedeco.opencv.global.opencv_imgproc;
import org.bytedeco.opencv.opencv_core.Mat;
import org.bytedeco.opencv.opencv_core.Scalar;
import java.text.SimpleDateFormat;
import java.util.Date;
/**
* @author will
* @email zq2599@gmail.com
* @date 2021/11/19 8:07 上午
* @description 攝像頭應(yīng)用的基礎(chǔ)類,這里面定義了拉流和推流的基本流程,子類只需實(shí)現(xiàn)具體的業(yè)務(wù)方法即可
*/
@Slf4j
public abstract class AbstractCameraApplication {
/**
* 攝像頭序號(hào),如果只有一個(gè)攝像頭,那就是0
*/
protected static final int CAMERA_INDEX = 0;
/**
* 幀抓取器
*/
protected FrameGrabber grabber;
/**
* 輸出幀率
*/
@Getter
private final double frameRate = 30;
/**
* 攝像頭視頻的寬
*/
@Getter
private final int cameraImageWidth = 1280;
/**
* 攝像頭視頻的高
*/
@Getter
private final int cameraImageHeight = 720;
/**
* 轉(zhuǎn)換器
*/
private final OpenCVFrameConverter.ToIplImage openCVConverter = new OpenCVFrameConverter.ToIplImage();
/**
* 實(shí)例化、初始化輸出操作相關(guān)的資源
*/
protected abstract void initOutput() throws Exception;
/**
* 輸出
*/
protected abstract void output(Frame frame) throws Exception;
/**
* 釋放輸出操作相關(guān)的資源
*/
protected abstract void releaseOutputResource() throws Exception;
/**
* 兩幀之間的間隔時(shí)間
* @return
*/
protected int getInterval() {
// 假設(shè)一秒鐘15幀,那么兩幀間隔就是(1000/15)毫秒
return (int)(1000/ frameRate);
}
/**
* 實(shí)例化幀抓取器,默認(rèn)OpenCVFrameGrabber對(duì)象,
* 子類可按需要自行覆蓋
* @throws FFmpegFrameGrabber.Exception
*/
protected void instanceGrabber() throws FrameGrabber.Exception {
grabber = new OpenCVFrameGrabber(CAMERA_INDEX);
}
/**
* 用幀抓取器抓取一幀,默認(rèn)調(diào)用grab()方法,
* 子類可以按需求自行覆蓋
* @return
*/
protected Frame grabFrame() throws FrameGrabber.Exception {
return grabber.grab();
}
/**
* 初始化幀抓取器
* @throws Exception
*/
protected void initGrabber() throws Exception {
// 實(shí)例化幀抓取器
instanceGrabber();
// 攝像頭有可能有多個(gè)分辨率,這里指定
// 可以指定寬高,也可以不指定反而調(diào)用grabber.getImageWidth去獲取,
grabber.setImageWidth(cameraImageWidth);
grabber.setImageHeight(cameraImageHeight);
// 開啟抓取器
grabber.start();
}
/**
* 預(yù)覽和輸出
* @param grabSeconds 持續(xù)時(shí)長(zhǎng)
* @throws Exception
*/
private void grabAndOutput(int grabSeconds) throws Exception {
// 添加水印時(shí)用到的時(shí)間工具
SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
long endTime = System.currentTimeMillis() + 1000L *grabSeconds;
// 兩幀輸出之間的間隔時(shí)間,默認(rèn)是1000除以幀率,子類可酌情修改
int interVal = getInterval();
// 水印在圖片上的位置
org.bytedeco.opencv.opencv_core.Point point = new org.bytedeco.opencv.opencv_core.Point(15, 35);
Frame captureFrame;
Mat mat;
// 超過(guò)指定時(shí)間就結(jié)束循環(huán)
while (System.currentTimeMillis()<endTime) {
// 取一幀
captureFrame = grabFrame();
if (null==captureFrame) {
log.error("幀對(duì)象為空");
break;
}
// 將幀對(duì)象轉(zhuǎn)為mat對(duì)象
mat = openCVConverter.convertToMat(captureFrame);
// 在圖片上添加水印,水印內(nèi)容是當(dāng)前時(shí)間,位置是左上角
opencv_imgproc.putText(mat,
simpleDateFormat.format(new Date()),
point,
opencv_imgproc.CV_FONT_VECTOR0,
0.8,
new Scalar(0, 200, 255, 0),
1,
0,
false);
// 子類輸出
output(openCVConverter.convert(mat));
// 適當(dāng)間隔,讓肉感感受不到閃屏即可
if(interVal>0) {
Thread.sleep(interVal);
}
}
log.info("輸出結(jié)束");
}
/**
* 釋放所有資源
*/
private void safeRelease() {
try {
// 子類需要釋放的資源
releaseOutputResource();
} catch (Exception exception) {
log.error("do releaseOutputResource error", exception);
}
if (null!=grabber) {
try {
grabber.close();
} catch (Exception exception) {
log.error("close grabber error", exception);
}
}
}
/**
* 整合了所有初始化操作
* @throws Exception
*/
private void init() throws Exception {
long startTime = System.currentTimeMillis();
// 設(shè)置ffmepg日志級(jí)別
avutil.av_log_set_level(avutil.AV_LOG_INFO);
FFmpegLogCallback.set();
// 實(shí)例化、初始化幀抓取器
initGrabber();
// 實(shí)例化、初始化輸出操作相關(guān)的資源,
// 具體怎么輸出由子類決定,例如窗口預(yù)覽、存視頻文件等
initOutput();
log.info("初始化完成,耗時(shí)[{}]毫秒,幀率[{}],圖像寬度[{}],圖像高度[{}]",
System.currentTimeMillis()-startTime,
frameRate,
cameraImageWidth,
cameraImageHeight);
}
/**
* 執(zhí)行抓取和輸出的操作
*/
public void action(int grabSeconds) {
try {
// 初始化操作
init();
// 持續(xù)拉取和推送
grabAndOutput(grabSeconds);
} catch (Exception exception) {
log.error("execute action error", exception);
} finally {
// 無(wú)論如何都要釋放資源
safeRelease();
}
}
}
上述代碼有以下幾處要注意:
1.負(fù)責(zé)從攝像頭取數(shù)據(jù)的是OpenCVFrameGrabber對(duì)象,即幀抓取器
2.initGrabber方法中,通過(guò)setImageWidth和setImageHeight方法為幀抓取器設(shè)置圖像的寬和高,其實(shí)也可以不用設(shè)置寬高,由幀抓取器自動(dòng)適配,但是考慮到有些攝像頭支持多種分辨率,所以還是按照自己的實(shí)際情況來(lái)主動(dòng)設(shè)置
3.grabAndOutput方法中,使用了while循環(huán)來(lái)不斷地取幀、處理、輸出,這個(gè)while循環(huán)的結(jié)束條件是指定時(shí)長(zhǎng),這樣的結(jié)束條件可能滿足不了您的需要,請(qǐng)按照您的實(shí)際情況自行調(diào)整(例如檢測(cè)某個(gè)按鍵是否按下)
4.grabAndOutput方法中,將取到的幀轉(zhuǎn)為Mat對(duì)象,然后在Mat對(duì)象上添加文字,內(nèi)容是當(dāng)前時(shí)間,再將Mat對(duì)象轉(zhuǎn)為幀對(duì)象,將此幀對(duì)象傳給子類的output方法,如此一來(lái),子類做處理和輸出的時(shí)候,拿到的幀都有了時(shí)間水印
至此,父類已經(jīng)完成,接下來(lái)的實(shí)戰(zhàn),咱們只要專注用子類處理和輸出幀數(shù)據(jù)即可
部署媒體服務(wù)器
《JavaCV的攝像頭實(shí)戰(zhàn)》系列的一些實(shí)戰(zhàn)涉及到推流和遠(yuǎn)程播放,這就要用到流媒體服務(wù)器了,流媒體服務(wù)器的作用如下圖,咱們也在這一篇提前部署好:

關(guān)于媒體服務(wù)器的類型,我選的是常用的nginx-rtmp,簡(jiǎn)單起見(jiàn),找了一臺(tái)linux電腦,在上面用docker來(lái)部署,也就是一行命令的事兒:
docker run -d --name nginx_rtmp -p 1935:1935 -p 18080:80 alfg/nginx-rtmp:v1.3.1
另外還有個(gè)特殊情況,就是我這邊有個(gè)閑置的樹莓派3B,也可以用來(lái)做媒體服務(wù)器,也是用docker部署的,這里要注意鏡像要選用shamelesscookie/nginx-rtmp-ffmpeg:latest,這個(gè)鏡像有ARM64版本,適合在樹莓派上使用:
docker run -d --name nginx_rtmp -p 1935:1935 -p 18080:80 shamelesscookie/nginx-rtmp-ffmpeg:latest
到此這篇關(guān)于JavaCV實(shí)戰(zhàn)之調(diào)用攝像頭基礎(chǔ)詳解的文章就介紹到這了,更多相關(guān)JavaCV調(diào)用攝像頭內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
IntelliJ IDEA中打開拼寫檢查與忽略提示曲線的方法
今天小編就為大家分享一篇關(guān)于IntelliJ IDEA中打開拼寫檢查與忽略提示曲線的方法,小編覺(jué)得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來(lái)看看吧2018-10-10
在springboot文件中如何創(chuàng)建mapper.xml文件
這篇文章主要介紹了在springboot文件中如何創(chuàng)建mapper.xml文件問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-01-01
教你利用JAVA實(shí)現(xiàn)可以自行關(guān)閉服務(wù)器的方法
今天給大家?guī)?lái)的是關(guān)于Java的相關(guān)知識(shí),文章圍繞著利用JAVA實(shí)現(xiàn)可以自行關(guān)閉服務(wù)器的方法展開,文中有非常詳細(xì)的介紹及代碼示例,需要的朋友可以參考下2021-06-06
java中 利用正則表達(dá)式提取( )內(nèi)內(nèi)容
本篇文章,小編為大家介紹關(guān)于java中 利用正則表達(dá)式提取( )內(nèi)內(nèi)容,有需要的朋友可以參考一下2013-04-04
java數(shù)據(jù)結(jié)構(gòu)與算法數(shù)組模擬隊(duì)列示例詳解
這篇文章主要為大家介紹了java數(shù)據(jù)結(jié)構(gòu)與算法數(shù)組模擬隊(duì)列示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-06-06
mybatisPlus自動(dòng)填充更新時(shí)間的示例代碼
本文主要介紹了mybatisPlus自動(dòng)填充更新時(shí)間,文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-09-09

