C++?ffmpeg實現(xiàn)將視頻幀轉(zhuǎn)換成jpg或png等圖片
更新時間：2023年03月28日 14:12:18 作者：CodeOfCC
有時播放實時流的時候有截圖的需求，需要將解碼出來的圖片保存本地或上傳服務器，這時就需要將avframe中的數(shù)據(jù)編碼成png、jpg等格式的圖片，我們使用ffmpeg的相關編碼器就可以實現(xiàn)功能，下面就來講講具體實現(xiàn)方法吧
前言
有時播放實時流的時候有截圖的需求，需要將解碼出來的圖片保存本地或上傳服務器，這時就需要將avframe中的數(shù)據(jù)編碼成png、jpg等格式的圖片，我們使用ffmpeg的相關編碼器就可以實現(xiàn)功能。
一、如何實現(xiàn)
1、查找編碼器
首先需要查找圖片編碼器，比如jpg為AV_CODEC_ID_MJPEG，png為AV_CODEC_ID_PNG
示例代碼：
enum AVCodecID codec = avcodec_find_encoder(AV_CODEC_ID_MJPEG);
2、構(gòu)造編碼器上下文
有了編碼器就可以構(gòu)造編碼器上下文了。
AVCodecContext*ctx = avcodec_alloc_context3(codec); ctx->bit_rate = 3000000; ctx->width = frame->width;//視頻幀的寬 ctx->height = frame->height;//視頻幀的高 ctx->time_base.num = 1; ctx->time_base.den = 25; ctx->gop_size = 10; ctx->max_b_frames = 0; ctx->thread_count = 1; ctx->pix_fmt = *codec->pix_fmts;//使用編碼器適配的像素格式 //打開編碼器 avcodec_open2(ctx, codec, NULL);
3、像素格式轉(zhuǎn)換
如果輸入視頻幀的像素和編碼器的像素格式不相同則需要轉(zhuǎn)換像素格式，我們采用SwsContext 轉(zhuǎn)換即可
AVFrame*rgbFrame = av_frame_alloc();//轉(zhuǎn)換后的幀 swsContext = sws_getContext(frame->width, frame->height, (enum AVPixelFormat)frame->format, frame->width, frame->height, ctx->pix_fmt, 1, NULL, NULL, NULL); int bufferSize = av_image_get_buffer_size(ctx->pix_fmt, frame->width, frame->height, 1) * 2; buffer = (unsigned char*)av_malloc(bufferSize); //構(gòu)造幀的緩存 av_image_fill_arrays(rgbFrame->data, rgbFrame->linesize, buffer, ctx->pix_fmt, frame->width, frame->height, 1); sws_scale(swsContext, frame->data, frame->linesize, 0, frame->height, rgbFrame->data, rgbFrame->linesize); //構(gòu)造必要的參數(shù) rgbFrame->format = ctx->pix_fmt; rgbFrame->width = ctx->width; rgbFrame->height = ctx->height;
4、編碼
得到轉(zhuǎn)后的幀就可以編碼
ret = avcodec_send_frame(ctx, rgbFrame);
5、獲取圖片數(shù)據(jù)
獲取解碼后的包即可得到圖片數(shù)據(jù)。
uint8_t* outbuf;//輸出圖片的緩存 size_t outbufSize;//緩存大小 AVPacket pkt; av_init_packet(&pkt); //獲取解碼的包 avcodec_receive_packet(ctx, &pkt); //將圖片數(shù)據(jù)拷貝到緩存 if (pkt.size > 0 && pkt.size <= outbufSize) memcpy(outbuf, pkt.data, pkt.size);
6、銷毀資源
將上述步驟使用的對象銷毀。
if (swsContext)
{
sws_freeContext(swsContext);
}
if (rgbFrame)
{
av_frame_unref(rgbFrame);
av_frame_free(&rgbFrame);
}
if (buffer)
{
av_free(buffer);
}
av_packet_unref(&pkt);
if (ctx)
{
avcodec_close(ctx);
avcodec_free_context(&ctx);
}二、完整代碼
/// <summary>
/// 幀轉(zhuǎn)圖片
/// 如果外部提供的緩存長度不足則不會寫入。
/// </summary>
/// <param name="frame">[in]視頻幀</param>
/// <param name="codecID">[in]圖片編碼器ID,如jpg:AV_CODEC_ID_MJPEG，png:AV_CODEC_ID_PNG</param>
/// <param name="outbuf">[out]圖片緩存，由外部提供</param>
/// <param name="outbufSize">[in]圖片緩存長度</param>
/// <returns>返回圖片實際長度</returns>
static int frameToImage(AVFrame* frame, enum AVCodecID codecID, uint8_t* outbuf, size_t outbufSize)
{
int ret = 0;
AVPacket pkt;
AVCodec* codec;
AVCodecContext* ctx = NULL;
AVFrame* rgbFrame = NULL;
uint8_t* buffer = NULL;
struct SwsContext* swsContext = NULL;
av_init_packet(&pkt);
codec = avcodec_find_encoder(codecID);
if (!codec)
{
printf("avcodec_send_frame error %d", codecID);
goto end;
}
if (!codec->pix_fmts)
{
printf("unsupport pix format with codec %s", codec->name);
goto end;
}
ctx = avcodec_alloc_context3(codec);
ctx->bit_rate = 3000000;
ctx->width = frame->width;
ctx->height = frame->height;
ctx->time_base.num = 1;
ctx->time_base.den = 25;
ctx->gop_size = 10;
ctx->max_b_frames = 0;
ctx->thread_count = 1;
ctx->pix_fmt = *codec->pix_fmts;
ret = avcodec_open2(ctx, codec, NULL);
if (ret < 0)
{
printf("avcodec_open2 error %d", ret);
goto end;
}
if (frame->format != ctx->pix_fmt)
{
rgbFrame = av_frame_alloc();
if (rgbFrame == NULL)
{
printf("av_frame_alloc fail:%d");
goto end;
}
swsContext = sws_getContext(frame->width, frame->height, (enum AVPixelFormat)frame->format, frame->width, frame->height, ctx->pix_fmt, 1, NULL, NULL, NULL);
if (!swsContext)
{
printf("sws_getContext fail:%d");
goto end;
}
int bufferSize = av_image_get_buffer_size(ctx->pix_fmt, frame->width, frame->height, 1) * 2;
buffer = (unsigned char*)av_malloc(bufferSize);
if (buffer == NULL)
{
printf("buffer alloc fail:%d", bufferSize);
goto end;
}
av_image_fill_arrays(rgbFrame->data, rgbFrame->linesize, buffer, ctx->pix_fmt, frame->width, frame->height, 1);
if ((ret = sws_scale(swsContext, frame->data, frame->linesize, 0, frame->height, rgbFrame->data, rgbFrame->linesize)) < 0)
{
printf("sws_scale error %d", ret);
}
rgbFrame->format = ctx->pix_fmt;
rgbFrame->width = ctx->width;
rgbFrame->height = ctx->height;
ret = avcodec_send_frame(ctx, rgbFrame);
}
else
{
ret = avcodec_send_frame(ctx, frame);
}
if (ret < 0)
{
printf("avcodec_send_frame error %d", ret);
goto end;
}
ret = avcodec_receive_packet(ctx, &pkt);
if (ret < 0)
{
printf("avcodec_receive_packet error %d", ret);
goto end;
}
if (pkt.size > 0 && pkt.size <= outbufSize)
memcpy(outbuf, pkt.data, pkt.size);
ret = pkt.size;
end:
if (swsContext)
{
sws_freeContext(swsContext);
}
if (rgbFrame)
{
av_frame_unref(rgbFrame);
av_frame_free(&rgbFrame);
}
if (buffer)
{
av_free(buffer);
}
av_packet_unref(&pkt);
if (ctx)
{
avcodec_close(ctx);
avcodec_free_context(&ctx);
}
return ret;
}三、使用示例
1、截取視頻幀并保存文件
void main() {
AVFrame* frame;//視頻解碼得到的幀
saveFrameToJpg(frame,"snapshot.jpg");
}
/// <summary>
/// 將視頻幀保存為jpg圖片
/// </summary>
/// <param name="frame">視頻幀</param>
/// <param name="path">保存的路徑</param>
void saveFrameToJpg(AVFrame*frame,const char*path) {
//確保緩沖區(qū)長度大于圖片,使用brga像素格式計算。如果是bmp或tiff依然可能超出長度，需要加一個頭部長度，或直接乘以2。
int bufSize = av_image_get_buffer_size(AV_PIX_FMT_BGRA, frame->width, frame->height, 64);
//申請緩沖區(qū)
uint8_t* buf = (uint8_t*)av_malloc(bufSize);
//將視頻幀轉(zhuǎn)換成圖片
int picSize = frameToImage(frame, AV_CODEC_ID_MJPEG, buf, bufSize);
//寫入文件
auto f = fopen(path, "wb+");
if (f)
{
fwrite(buf, sizeof(uint8_t), bufSize, f);
fclose(f);
}
//釋放緩沖區(qū)
av_free(buf);
}2、自定義數(shù)據(jù)構(gòu)造AVFrame
void main() {
uint8_t*frameData;//解碼得到的視頻數(shù)據(jù)
AVFrame* frame=allocFrame(frameData,640,360,AV_PIX_FMT_YUV420P);
saveFrameToJpg(frame,"snapshot.jpg");//此方法定義在示例1中
av_frame_free(&frame);
}
/// <summary>
/// 通過裸數(shù)據(jù)生成avframe
/// </summary>
/// <param name="frameData">幀數(shù)據(jù)</param>
/// <param name="width">幀寬</param>
/// <param name="height">幀高</param>
/// <param name="format">像素格式</param>
/// <returns>avframe，使用完成后需要調(diào)用av_frame_free釋放</returns>
AVFrame* allocFrame(uint8_t*frameData,int width,int height,AVPixelFormat format) {
AVFrame* frame = av_frame_alloc();
frame->width = width;
frame->height = height;
frame->format = format;
av_image_fill_arrays(frame->data, frame->linesize, frameData, format, frame->width, frame->height, 64);
return frame;
}總結(jié)
以上就是今天要講的內(nèi)容，總的來說整個流程和一般的視頻編碼是一致的，只是選擇的編碼器不同，拿到的圖片數(shù)據(jù)在內(nèi)存中，可以直接網(wǎng)絡傳輸或保存到本地?？梢院芊奖愕脑谝曨l界面過程中截圖，尤其是解碼使用ffmpeg的情況下。實現(xiàn)也不算難，寫成文章是為了以后能直接復用，畢竟時間久了一些細節(jié)還是會遺忘的。
到此這篇關于C++ ffmpeg實現(xiàn)將視頻幀轉(zhuǎn)換成jpg或png等圖片的文章就介紹到這了,更多相關C++ ffmpeg視頻幀轉(zhuǎn)圖片內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章我們給大家分享了關于c++種gmock單元測試框架的相關知識點內(nèi)容，有興趣的朋友們學習下。2018-08-08
這篇文章主要為大家詳細介紹了C++實現(xiàn)推箱子游戲，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-10-10
這篇文章主要介紹了C語言實現(xiàn)計算樹的深度的方法,針對數(shù)據(jù)結(jié)構(gòu)中樹進行操作的方法,在算法設計中比較常見,需要的朋友可以參考下2014-09-09
這篇文章主要為大家詳細介紹了Opencv EigenFace人臉識別算法的相關資料，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-05-05
本片文章是對C++中陷阱與缺陷進行了詳細的分析介紹，小編覺得本片文章講解的非常詳細，需要的朋友參考下，希望能夠給你帶來幫助2021-09-09
這篇文章主要介紹了C語言如何在字符數(shù)組中插入一個字符，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-06-06
C++中有兩種類型的枚舉：不限定作用域的枚舉類型和限定作用域的枚舉類型。限定作用域的枚舉類型是C++11標準引入的新類型，對C++11中限定作用域的枚舉類型相關知識感興趣的朋友一起看看吧2022-01-01
以下是對C++中的泛型算法進行了總結(jié)介紹。需要的朋友可以過來參考下2013-08-08
這篇文章主要為大家詳細介紹了C++如何獲取本機IP地址小程序，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-01-01
這篇文章主要為大家詳細介紹了C++STL函數(shù)和排序算法的快排以及歸并排序，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-03-03