天天看點

Qt-FFmpeg開發-實作錄屏功能

作者:音視訊開發T哥

1、概述

最近研究了一下FFmpeg開發,功能實在是太強大了,網上ffmpeg3、4的文章還是很多的,但是學習嘛,最新的還是不能放過,就選了一個最新的ffmpeg n5.1.2版本,和3、4版本api變化還是挺大的;

在這個Demo裡主要使用Qt + FFmpeg開發一個【簡易錄屏軟體】,這裡主要使用的是【軟解碼】,需要使用硬解碼的可以看之前的文章;

為了便于學習,這裡隻是錄制視訊圖像,沒有引入音頻等資訊;

由于錄制的視訊圖像格式和儲存的圖像格式不一定相同,是以中間需要進行圖像格式轉換,這裡使用的是FFmpeg自帶的sws_scale(),聽說libyuv性能更強,後續在研究研究。

開發環境說明

  • 系統:Windows10、Ubuntu20.04
  • Qt版本:V5.12.5
  • 編譯器:MSVC2017-64、GCC/G++64
  • FFmpeg版本:n5.1.2 (注意:如果版本不對可能程式無法運作)
    • 官方下載下傳
    • 我使用的庫

2、實作效果

抓取桌面圖像轉碼後儲存到本地視訊檔案中;

支援各種常見視訊檔案類型;

支援Windows、Linux錄屏功能;

支援全屏錄制功能、錄制指定區域功能;

預設将錄制視訊儲存到系統的視訊檔案夾下;

主要功能分為錄屏線程、錄屏解碼、圖像像素轉換、編碼儲存4部分。

Qt-FFmpeg開發-實作錄屏功能

3、FFmpeg錄屏代碼流程

  • 白色部分: 主要為抓取桌面圖像解碼流程;
  • 綠色部分: 将桌面圖像轉碼/編碼儲存到視訊檔案。
Qt-FFmpeg開發-實作錄屏功能

C++音視訊學習資料免費擷取方法:關注音視訊開發T哥,點選「連結」即可免費擷取2023年最新C++音視訊開發進階獨家免費學習大禮包!

4、主要代碼

啥也不說了,直接上代碼,一切有注釋

4.1 videodecode.h檔案

/******************************************************************************
 * @檔案名     videodecode.h
 * @功能       視訊解碼類,在這個類中調用ffmpeg打開捕獲桌面圖像進行解碼
 *
 * @開發者     mhf
 * @郵箱       [email protected]
 * @時間       2022/09/15
 * @備注
 *****************************************************************************/
#ifndef VIDEODECODE_H
#define VIDEODECODE_H

#include <QString>
#include <QSize>
#include <qfile.h>
#include <QPoint>

struct AVFormatContext;
struct AVCodecContext;
struct AVRational;
struct AVPacket;
struct AVFrame;
struct SwsContext;
struct AVBufferRef;
struct AVInputFormat;
struct AVStream;
class QImage;

class VideoDecode
{
public:
    VideoDecode();
    ~VideoDecode();

    bool open(const QString& url = QString());    // 打開媒體檔案,或者流媒體rtmp、strp、http
    AVFrame* read();                               // 讀取視訊圖像
    void close();                                 // 關閉
    bool isEnd();                                 // 是否讀取完成
    AVCodecContext* getCodecContext(){return m_codecContext;}
    QPoint avgFrameRate(){return m_avgFrameRate;}

private:
    void initFFmpeg();                            // 初始化ffmpeg庫(整個程式中隻需加載一次)
    void showError(int err);                      // 顯示ffmpeg執行錯誤時的錯誤資訊
    qreal rationalToDouble(AVRational* rational); // 将AVRational轉換為double
    void clear();                                 // 清空讀取緩沖
    void free();                                  // 釋放

private:
    const AVInputFormat* m_inputFormat = nullptr;
    AVFormatContext* m_formatContext = nullptr;   // 解封裝上下文
    AVCodecContext*  m_codecContext  = nullptr;   // 解碼器上下文
    AVPacket* m_packet = nullptr;                 // 資料包
    AVFrame*  m_frame  = nullptr;                 // 解碼後的視訊幀
    int    m_videoIndex   = 0;                    // 視訊流索引
    qint64 m_totalTime    = 0;                    // 視訊總時長
    qint64 m_totalFrames  = 0;                    // 視訊總幀數
    qint64 m_obtainFrames = 0;                    // 視訊目前擷取到的幀數
    qreal  m_frameRate    = 0;                    // 視訊幀率
    QSize  m_size;                                // 視訊分辨率大小
    char*  m_error = nullptr;                     // 儲存異常資訊
    bool   m_end = false;                         // 視訊讀取完成
    QPoint m_avgFrameRate;

};

#endif // VIDEODECODE_H           

4.2 videodecode.cpp檔案

#include "videodecode.h"
#include <QDebug>
#include <QImage>
#include <QMutex>
#include <qdatetime.h>


extern "C" {        // 用C規則編譯指定的代碼
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
#include "libavutil/avutil.h"
#include "libswscale/swscale.h"
#include "libavutil/imgutils.h"
#include "libavdevice/avdevice.h"    // 調用輸入裝置需要的頭檔案
}

#define ERROR_LEN 1024  // 異常資訊數組長度
#define PRINT_LOG 1

VideoDecode::VideoDecode()
{
    initFFmpeg();

    m_error = new char[ERROR_LEN];

    /**
     * dshow:  Windows 媒體輸入裝置。目前僅支援音頻和視訊裝置。
     * gdigrab:基于 Win32 GDI 的螢幕捕獲裝置
     * video4linux2:Linux輸入視訊裝置
     * x11grab:x11螢幕捕獲裝置
     */
#if defined(Q_OS_WIN)
    m_inputFormat = av_find_input_format("gdigrab");            // Windows下如果沒有則不能打開裝置
#elif defined(Q_OS_LINUX)
    m_inputFormat = av_find_input_format("x11grab");
#elif defined(Q_OS_MAC)
//    m_inputFormat = av_find_input_format("avfoundation");
#endif

    if(!m_inputFormat)
    {
        qWarning() << "查詢AVInputFormat失敗!";
    }
}

VideoDecode::~VideoDecode()
{
    close();
}

/**
 * @brief 初始化ffmpeg庫(整個程式中隻需加載一次)
 *        舊版本的ffmpeg需要注冊各種檔案格式、解複用器、對網絡庫進行全局初始化。
 *        在新版本的ffmpeg中紛紛棄用了,不需要注冊了
 */
void VideoDecode::initFFmpeg()
{
    static bool isFirst = true;
    static QMutex mutex;
    QMutexLocker locker(&mutex);
    if(isFirst)
    {
        //        av_register_all();         // 已經從源碼中删除
        /**
         * 初始化網絡庫,用于打開網絡流媒體,此函數僅用于解決舊GnuTLS或OpenSSL庫的線程安全問題。
         * 一旦删除對舊GnuTLS和OpenSSL庫的支援,此函數将被棄用,并且此函數不再有任何用途。
         */
        avformat_network_init();
        // 初始化libavdevice并注冊所有輸入和輸出裝置。
        avdevice_register_all();
        isFirst = false;
    }
}

/**
 * @brief      打開媒體檔案,或者流媒體,例如rtmp、strp、http
 * @param url  視訊位址
 * @return     true:成功  false:失敗
 */
bool VideoDecode::open(const QString &url)
{
    if(url.isNull()) return false;

    AVDictionary* dict = nullptr;

    // 所有參數:https://ffmpeg.org/ffmpeg-devices.html
    av_dict_set(&dict, "framerate", "20", 0);          // 設定幀率,預設的是30000/1001,但是實際可能達不到30的幀率,是以最好手動設定
    av_dict_set(&dict, "draw_mouse", "1", 0);          // 指定是否繪制滑鼠指針。0:不包含滑鼠,1:包含滑鼠
    av_dict_set(&dict, "video_size", "500x400", 0);    // 錄制視訊的大小(寬高),預設為全屏
#if defined(Q_OS_WIN)
//    av_dict_set(&dict, "offset_x", "100", 0);          // 錄制視訊的起點X坐标
//    av_dict_set(&dict, "offset_y", "500", 0);          // 錄制視訊的起點Y坐标
#elif defined(Q_OS_LINUX)
//    av_dict_set(&dict, "select_region", "1", 0);          // 1:指定是否使用指針以圖形方式選擇抓取區域 0:不使用

    // 當video_size設定,并且video_size加上grab_x、grab_y後不超出桌面區域時,可以通過grab_x、grab_y設定錄屏的起始坐标,如果超出桌面區域則會設定失敗
//       av_dict_set(&dict, "grab_x", "300", 0);          // 錄制視訊的起點X坐标
//       av_dict_set(&dict, "grab_y", "500", 0);          // 錄制視訊的起點Y坐标
#endif

    // 打開輸入流并傳回解封裝上下文
    int ret = avformat_open_input(&m_formatContext,          // 傳回解封裝上下文
                                  url.toStdString().data(),  // 打開視訊位址
                                  m_inputFormat,             // 如果非null,此參數強制使用特定的輸入格式。自動選擇解封裝器(檔案格式)
                                  &dict);                    // 參數設定

    // 釋放參數字典
    if(dict)
    {
        av_dict_free(&dict);
    }
    // 打開視訊失敗
    if(ret < 0)
    {
        showError(ret);
        free();
        return false;
    }

    // 讀取媒體檔案的資料包以擷取流資訊。
    ret = avformat_find_stream_info(m_formatContext, nullptr);
    if(ret < 0)
    {
        showError(ret);
        free();
        return false;
    }
    m_totalTime = m_formatContext->duration / (AV_TIME_BASE / 1000); // 計算視訊總時長(毫秒)
#if PRINT_LOG
    qDebug() << QString("視訊總時長:%1 ms,[%2]").arg(m_totalTime).arg(QTime::fromMSecsSinceStartOfDay(int(m_totalTime)).toString("HH:mm:ss zzz"));
#endif

    // 通過AVMediaType枚舉查詢視訊流ID(也可以通過周遊查找),最後一個參數無用
    m_videoIndex = av_find_best_stream(m_formatContext, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);
    if(m_videoIndex < 0)
    {
        showError(m_videoIndex);
        free();
        return false;
    }

    AVStream* videoStream = m_formatContext->streams[m_videoIndex];  // 通過查詢到的索引擷取視訊流

    // 擷取視訊圖像分辨率(AVStream中的AVCodecContext在新版本中棄用,改為使用AVCodecParameters)
    m_size.setWidth(videoStream->codecpar->width);
    m_size.setHeight(videoStream->codecpar->height);
    m_frameRate = rationalToDouble(&videoStream->avg_frame_rate);  // 視訊幀率
    m_avgFrameRate.setX(videoStream->avg_frame_rate.num);
    m_avgFrameRate.setY(videoStream->avg_frame_rate.den);

    // 通過解碼器ID擷取視訊解碼器(新版本傳回值必須使用const)
    const AVCodec* codec = avcodec_find_decoder(videoStream->codecpar->codec_id);
    m_totalFrames = videoStream->nb_frames;

#if PRINT_LOG
    qDebug() << QString("分辨率:[w:%1,h:%2] 幀率:%3  總幀數:%4  解碼器:%5")
                .arg(m_size.width()).arg(m_size.height()).arg(m_frameRate).arg(m_totalFrames).arg(codec->name);
#endif

    // 配置設定AVCodecContext并将其字段設定為預設值。
    m_codecContext = avcodec_alloc_context3(codec);
    if(!m_codecContext)
    {
#if PRINT_LOG
        qWarning() << "建立視訊解碼器上下文失敗!";
#endif
        free();
        return false;
    }

    // 使用視訊流的codecpar為解碼器上下文指派
    ret = avcodec_parameters_to_context(m_codecContext, videoStream->codecpar);
    if(ret < 0)
    {
        showError(ret);
        free();
        return false;
    }

    m_codecContext->flags2 |= AV_CODEC_FLAG2_FAST;    // 允許不符合規範的加速技巧。
    m_codecContext->thread_count = 8;                 // 使用8線程解碼

    // 初始化解碼器上下文,如果之前avcodec_alloc_context3傳入了解碼器,這裡設定NULL就可以
    ret = avcodec_open2(m_codecContext, nullptr, nullptr);
    if(ret < 0)
    {
        showError(ret);
        free();
        return false;
    }

    // 配置設定AVPacket并将其字段設定為預設值。
    m_packet = av_packet_alloc();
    if(!m_packet)
    {
#if PRINT_LOG
        qWarning() << "av_packet_alloc() Error!";
#endif
        free();
        return false;
    }
    // 配置設定AVFrame并将其字段設定為預設值。
    m_frame = av_frame_alloc();
    if(!m_frame)
    {
#if PRINT_LOG
        qWarning() << "av_frame_alloc() Error!";
#endif
        free();
        return false;
    }

    m_end = false;
    return true;
}

/**
 * @brief   讀取圖像并将圖像轉換為YUV420P格式
 * @return
 */
AVFrame* VideoDecode::read()
{
    // 如果沒有打開則傳回
    if(!m_formatContext)
    {
        return nullptr;
    }

    // 讀取下一幀資料
    int readRet = av_read_frame(m_formatContext, m_packet);
    if(readRet < 0)
    {
        avcodec_send_packet(m_codecContext, m_packet); // 讀取完成後向解碼器中傳如空AVPacket,否則無法讀取出最後幾幀
    }
    else
    {

        if(m_packet->stream_index == m_videoIndex)     // 如果是圖像資料則進行解碼
        {
            // 将讀取到的原始資料包傳入解碼器
            int ret = avcodec_send_packet(m_codecContext, m_packet);
            if(ret < 0)
            {
                showError(ret);
            }
        }
    }
    av_packet_unref(m_packet);  // 釋放資料包,引用計數-1,為0時釋放空間

    av_frame_unref(m_frame);
    int ret = avcodec_receive_frame(m_codecContext, m_frame);
    if(ret < 0)
    {
        av_frame_unref(m_frame);
        if(readRet < 0)
        {
            m_end = true;     // 當無法讀取到AVPacket并且解碼器中也沒有資料時表示讀取完成
        }
        return nullptr;
    }

    return m_frame;
}

/**
 * @brief 關閉視訊播放并釋放記憶體
 */
void VideoDecode::close()
{
    clear();
    free();

    m_totalTime     = 0;
    m_videoIndex    = 0;
    m_totalFrames   = 0;
    m_obtainFrames  = 0;
    m_frameRate     = 0;
    m_size          = QSize(0, 0);
}

/**
 * @brief  視訊是否讀取完成
 * @return
 */
bool VideoDecode::isEnd()
{
    return m_end;
}


/**
 * @brief        顯示ffmpeg函數調用異常資訊
 * @param err
 */
void VideoDecode::showError(int err)
{
#if PRINT_LOG
    memset(m_error, 0, ERROR_LEN);        // 将數組置零
    av_strerror(err, m_error, ERROR_LEN);
    qWarning() << "DecodeVideo Error:" << m_error;
#else
    Q_UNUSED(err)
#endif
}

/**
 * @brief          将AVRational轉換為double,用于計算幀率
 * @param rational
 * @return
 */
qreal VideoDecode::rationalToDouble(AVRational* rational)
{
    qreal frameRate = (rational->den == 0) ? 0 : (qreal(rational->num) / rational->den);
    return frameRate;
}

/**
 * @brief 清空讀取緩沖
 */
void VideoDecode::clear()
{
    // 因為avformat_flush不會重新整理AVIOContext (s->pb)。如果有必要,在調用此函數之前調用avio_flush(s->pb)。
    if(m_formatContext && m_formatContext->pb)
    {
        avio_flush(m_formatContext->pb);
    }
    if(m_formatContext)
    {
        avformat_flush(m_formatContext);   // 清理讀取緩沖
    }
}

void VideoDecode::free()
{
    // 釋放編解碼器上下文和與之相關的所有内容,并将NULL寫入提供的指針
    if(m_codecContext)
    {
        avcodec_free_context(&m_codecContext);
    }
    // 關閉并失敗m_formatContext,并将指針置為null
    if(m_formatContext)
    {
        avformat_close_input(&m_formatContext);
    }
    if(m_packet)
    {
        av_packet_free(&m_packet);
    }
    if(m_frame)
    {
        av_frame_free(&m_frame);
    }
}           

4.3 videocodec.h檔案

/******************************************************************************
 * @檔案名     videocodec.h
 * @功能       視訊編碼儲存類,将AVFrame圖像進行格式轉換後編碼儲存到視訊檔案中
 *
 * @開發者     mhf
 * @郵箱       [email protected]
 * @時間       2022/12/26
 * @備注
 *****************************************************************************/
#ifndef VIDEOCODEC_H
#define VIDEOCODEC_H

#include <QPoint>
#include <qmutex.h>
#include <qstring.h>


struct AVCodecParameters;
struct AVFormatContext;
struct AVCodecContext;
struct AVStream;
struct AVFrame;
struct AVPacket;
struct AVOutputFormat;
struct SwsContext;

class VideoCodec
{
public:
    VideoCodec();
    ~VideoCodec();

    bool open(AVCodecContext *codecContext, QPoint point, const QString& fileName);
    void write(AVFrame* frame);
    void close();

private:
    void showError(int err);
    bool swsFormat(AVFrame* frame);

private:
    AVFormatContext* m_formatContext = nullptr;
    AVCodecContext * m_codecContext  = nullptr;    // 編碼器上下文
    SwsContext     * m_swsContext    = nullptr;    // 圖像轉換上下文
    AVStream       * m_videoStream   = nullptr;
    AVPacket       * m_packet        = nullptr;    // 資料包
    AVFrame        * m_frame         = nullptr;    // 解碼後的視訊幀
    int m_index = 0;
    bool             m_writeHeader   = false;      // 是否寫入頭
    QMutex           m_mutex;
};

#endif // VIDEOCODEC_H           

4.4 videocodec.cpp檔案

#include "videocodec.h"
#include <QDebug>

extern "C" {        // 用C規則編譯指定的代碼
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
#include "libavutil/avutil.h"
#include "libswscale/swscale.h"
#include "libavutil/imgutils.h"
#include "libavdevice/avdevice.h"
}

#define ERROR_LEN 1024  // 異常資訊數組長度
#define PRINT_LOG 1

VideoCodec::VideoCodec()
{

}

VideoCodec::~VideoCodec()
{
    close();
}

bool VideoCodec::open(AVCodecContext *codecContext, QPoint point, const QString &fileName)
{
    if(!codecContext || fileName.isEmpty()) return false;

    // 通過輸出檔案名為輸出格式配置設定AVFormatContext。參數3編碼器設定為空,由參數4檔案名字尾推測合适的編碼器
    int ret = avformat_alloc_output_context2(&m_formatContext, nullptr, nullptr, fileName.toStdString().data());

    if(ret < 0)
    {
        close();
        showError(ret);
        return false;
    }
    // 建立并初始化AVIOContext以通路url所訓示的資源。
    ret = avio_open(&m_formatContext->pb, fileName.toStdString().data(), AVIO_FLAG_WRITE);
    if(ret < 0)
    {
        close();
        showError(ret);
        return false;
    }

    // 查詢編碼器
    const AVCodec* codec = avcodec_find_encoder(m_formatContext->oformat->video_codec);
    if(!codec)
    {
        close();
        showError(AVERROR(ENOMEM));
        return false;
    }
    qDebug() << codec->id <<" " << codec->name;

    // 配置設定AVCodecContext并将其字段設定為預設值。
    m_codecContext = avcodec_alloc_context3(codec);
    if(!m_codecContext)
    {
        close();
        showError(AVERROR(ENOMEM));
        return false;
    }

    // 設定編碼器上下文參數
    m_codecContext->width = codecContext->width;                          // 圖檔寬度/高度
    m_codecContext->height = codecContext->height;
    m_codecContext->pix_fmt = codec->pix_fmts[0];                         // 像素格式(這裡通過編碼器指派,不需要自己指定)
    m_codecContext->time_base = {point.y(), point.x()};                   //設定時間基,20為分母,1為分子,表示以1/20秒時間間隔播放一幀圖像
    m_codecContext->framerate = {point.x(), point.y()};
    m_codecContext->bit_rate = 1000000;                                   // 目标的碼率,即采樣的碼率;顯然,采樣碼率越大,視訊大小越大,畫質越高
    m_codecContext->gop_size = 12;                                        // I幀間隔(值越大,視訊檔案越小,編解碼延時越長)
    m_codecContext->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;

    // 打開編碼器
    ret = avcodec_open2(m_codecContext, nullptr, nullptr);
    if(ret < 0)
    {
        close();
        showError(ret);
        return false;
    }

    // 向媒體檔案添加新流
    m_videoStream = avformat_new_stream(m_formatContext, nullptr);
    if(!m_videoStream)
    {
        close();
        showError(AVERROR(ENOMEM));
        return false;
    }

    //拷貝一些參數,給codecpar指派
    ret = avcodec_parameters_from_context(m_videoStream->codecpar,m_codecContext);
    if(ret < 0)
    {
        close();
        showError(ret);
        return false;
    }

    // 寫入檔案頭
    ret = avformat_write_header(m_formatContext, nullptr);
    if(ret < 0)
    {
        close();
        showError(ret);
        return false;
    }
    m_writeHeader = true;

    // 配置設定一個AVPacket
    m_packet = av_packet_alloc();
    if(!m_packet)
    {
        close();
        showError(AVERROR(ENOMEM));
        return false;
    }

    m_frame = av_frame_alloc();
    if(!m_frame)
    {
        close();
        showError(AVERROR(ENOMEM));
        return false;
    }
    m_frame->format = codec->pix_fmts[0];

    qDebug() << "開始錄制視訊!";
    return true;
}

/**
 * @brief          将圖像幀編碼寫入視訊檔案
 * @param frame
 */
void VideoCodec::write(AVFrame *frame)
{
    QMutexLocker locker(&m_mutex);
    if(!m_packet)
    {
        return;
    }

    if(!swsFormat(frame))              // 由于解碼的圖像格式和編碼需要的圖像格式不一定相同,是以需要轉換一下格式
    {
        return;
    }
    if(m_frame)
    {
        m_frame->pts = m_index;         // pts從0開始增加,儲存的視訊才會時間從0開始增加
        m_index++;
    }


    avcodec_send_frame(m_codecContext, m_frame); // 将圖像傳入編碼器

    // 循環讀取所有編碼完的幀
    while (true)
    {
        // 從編碼器中讀取圖像幀
        int ret = avcodec_receive_packet(m_codecContext, m_packet);
        if(ret < 0)
        {
            break;
        }

        // 将資料包中的有效時間字段(時間戳/持續時間)從一個時基轉換為 輸出流的時間
        av_packet_rescale_ts(m_packet, m_codecContext->time_base, m_videoStream->time_base);
        av_write_frame(m_formatContext, m_packet);   // 将資料包寫入輸出媒體檔案
        av_packet_unref(m_packet);
    }
}

void VideoCodec::close()
{
    write(nullptr);   // 傳入空幀,讀取所有編碼資料
    QMutexLocker locker(&m_mutex);    // 如果不加鎖可能在點選關閉時,write函數正在寫入資料,導緻崩潰
    if(m_formatContext)
    {
        // 寫入檔案尾
        if(m_writeHeader)
        {
            m_writeHeader = false;
            int ret = av_write_trailer(m_formatContext);
            if(ret < 0)
            {
                showError(ret);
                return;
            }
        }
        int ret = avio_close(m_formatContext->pb);
        if(ret < 0)
        {
            showError(ret);
            return;
        }
        avformat_free_context(m_formatContext);
        m_formatContext = nullptr;
        m_videoStream = nullptr;
    }
    // 釋放編解碼器上下文并置空
    if(m_codecContext)
    {
        avcodec_free_context(&m_codecContext);
    }
    if(m_packet)
    {
        av_packet_free(&m_packet);
    }
    // 釋放上下文swsContext。
    if(m_swsContext)
    {
        sws_freeContext(m_swsContext);
        m_swsContext = nullptr;             // sws_freeContext不會把上下文置NULL
    }
    if(m_frame)
    {
        av_frame_free(&m_frame);
    }
    m_index = 0;
}

void VideoCodec::showError(int err)
{
#if PRINT_LOG
    static char  m_error[ERROR_LEN];         // 儲存異常資訊
    memset(m_error, 0, ERROR_LEN);           // 将數組置零
    av_strerror(err, m_error, ERROR_LEN);
    qWarning() << "VideoSave Error:" << m_error;
#else
    Q_UNUSED(err)
#endif
}

/**
 * @brief        将解碼圖像幀的像素格式轉換未編碼圖像幀的像素格式
 * @param frame
 * @return       true:轉換成功  false:轉換失敗
 */
bool VideoCodec::swsFormat(AVFrame *frame)
{
    if(!frame || frame->width <= 0 || frame->height <= 0)
    {
        return false;
    }
    // 為什麼圖像轉換上下文要放在這裡初始化呢,是因為m_frame->format,如果使用硬體解碼,解碼出來的圖像格式和m_codecContext->pix_fmt的圖像格式不一樣,就會導緻無法轉換為QImage
    // 由于解碼後的圖像格式不一定支援儲存裸流,或者不支援直接編碼為H264,是以需要轉換格式
    if(!m_swsContext)
    {
        // 擷取緩存的圖像轉換上下文。首先校驗參數是否一緻,如果校驗不通過就釋放資源;然後判斷上下文是否存在,如果存在直接複用,如不存在進行配置設定、初始化操作
        m_swsContext = sws_getCachedContext(m_swsContext,
                                            frame->width,                     // 輸入圖像的寬度
                                            frame->height,                    // 輸入圖像的高度
                                            (AVPixelFormat)frame->format,     // 輸入圖像的像素格式
                                            frame->width,                     // 輸出圖像的寬度
                                            frame->height,                    // 輸出圖像的高度
                                            (AVPixelFormat)m_frame->format,   // 輸出圖像的像素格式
                                            SWS_BILINEAR,                     // 選擇縮放算法(隻有當輸入輸出圖像大小不同時有效),一般選擇SWS_FAST_BILINEAR
                                            nullptr,                          // 輸入圖像的濾波器資訊, 若不需要傳NULL
                                            nullptr,                          // 輸出圖像的濾波器資訊, 若不需要傳NULL
                                            nullptr);                         // 特定縮放算法需要的參數(?),預設為NULL
        if(!m_swsContext)
        {
#if PRINT_LOG
            qWarning() << "sws_getCachedContext() Error!";
#endif

            av_frame_unref(frame);
            return false;
        }

        if(m_frame)
        {
            // 建立一個圖像幀用于儲存YUV420P圖像
            m_frame->width = frame->width;
            m_frame->height = frame->height;
            av_frame_get_buffer(m_frame, 3 * 8);
        }
    }

    if(m_frame->width <= 0 || m_frame->height <= 0)      // 如果m_frame沒有配置設定空間則傳回
    {
        return false;
    }

    // 開始轉換格式
    bool ret = sws_scale(m_swsContext,             // 縮放上下文
                    frame->data,                   // 原圖像數組
                    frame->linesize,               // 包含源圖像每個平面步幅的數組
                    0,                             // 開始位置
                    frame->height,                 // 行數
                    m_frame->data,                 // 目标圖像數組
                    m_frame->linesize);            // 包含目标圖像每個平面的步幅的數組
    av_frame_unref(frame);
    return ret;
}           

5、完整源代碼

  • github
  • gitee

原文連結:Qt-FFmpeg寮€鍙�-瀹炵幇褰曞睆鍔熻兘锛�10锛� - 鎺橀噾