1. 概述

從事多媒體技術研發工程師想必提到最多的開源工程即是ffmpeg，全稱是Fast Forward MPEG，有很多視訊相關的網際網路公司都使用該開源程式，如Google、Facebook、Youtube、騰訊、優酷洋芋、愛奇藝、暴風等等。但根據使用場景的不同，術語經常有不同的含義，極易造成溝通不一緻。我對ffmpeg的了解是：首先它是一個多媒體處理的工具軟體（exe可執行程式），其次它還是一套完整的、可供二次開發的多媒體處理的SDK/API（頭檔案、lib、dll），最後它還是源代碼全部開源且可容納多個其他各種開源協定的音視訊開源工程多媒體架構。本文也由淺入深分三個階段進行介紹，首先是ffmpeg工具集的使用，其次是ffmpeg SDK的開發心得與小程式舉例，最後是源碼分析以及與其他開源工程的接口分析。

2. ffmpeg工具集的使用

Windows官方下載下傳的形式為”ffmpeg-版本号-win32-bin”, Linux可通過 apt-get下載下傳

sudo add-apt-repository ppa:mc3man/trusty-media

sudo add-apt-repository ppa:kirillshkrogalev/ffmpeg-next

sudo apt-get update

sudo apt-get dist-upgrade

sudo apt-get install ffmpeg

bin檔案夾下是ffmpeg的應用程式，具體包括

ffmpeg：是一個媒體處理的萬能工具，可以轉換音視訊協定、容器，或對音視訊流進行合并、分割，既能處理檔案又能處理實時流，格式工廠、SRS等都是基于該程式所做；

ffprobe：是一個用來檢視多媒體檔案的資訊的工具，media info是基于該程式所做

ffplay：是一個簡單的播放器，使用ffmpeg 庫解析和解碼，通過SDL顯示；

ffserver：是一個簡單的流Server，僅在Linux下才能編譯通過，支援RTP+RTSP/HTTP協定。

關于ffmpeg工具集的基本使用、編碼參數和協定參數可參考如下四個文檔：

(1). FFmpeg Documentatio

(2). FFplay Documentation

(3). FFprobe Documentation

(4). FFserver Documentation

這些工具集如果使用好之後，在外圍用C++/Python等做一個ffmpeg程序的warpper，就可以直接建構面向應用的程式或服務了。

ffmpeg.exe對于我來說更多的當成一個瑞士軍刀來使用，它可以将任意一種音視訊的封裝格式、協定轉化成任意另外一種封裝格式與協定，并在轉化過程中對音視訊原始資料上做一些處理

輸入可以是檔案、管道、網絡流、采集的原始音視訊流 -i參

輸出可以是檔案、網絡流沒有參數（不需要-o參數）

傳輸内容的類型可以是單一視訊、音頻、資料、字幕、attachment等也可以是多種類型即它們的混合 -map來選擇 2:3代表第3路輸入檔案中的第4個流，-vn/-an/-sn/-dn禁止某個流

由于ffplay可以直接采集攝像頭，ffmpeg也可以進行顯示，故兩者一同來介紹。

例：

(1). ffmpeg解碼+顯示

ffmpeg -re -i test.264 -pix_fmt yuv420p -f sdl 1.yuv

(2). ffplay采集+顯示

ffplay -f dshow -i video="Integrated Camera"

2.1 基本指令

ffmpeg處理流程如下：

離不開如下庫（SDK開發也會用到下面的庫）

libavformat 封裝格式

libavcodec 編碼格式

libavfilter 中間處理

例：限定比特率與幀率

ffmpeg -i input.avi -b:v 64k -bufsize 64k -r 24 output.avi

簡單處理： -filter -vf/-af

複雜處理：-lavfi -filter_complex

直接複制

針對流本身的參數：

例

-codec:a:1 ac3

-b:a 128k

-threads:1 4

相關學習資料推薦，點選下方連結免費報名，先碼住不迷路~】

【免費分享】音視訊學習資料包、大廠面試題、技術視訊和學習路線圖，資料包括（C/C++，Linux，FFmpeg webRTC rtmp hls rtsp ffplay srs 等等）有需要的可以點選加群免費領取~

2.2 ffmpeg流媒體相關應用

采集->編碼->媒體流發送

ffmpeg -r 幀率 -f dshow(windows平台) -s 寬×高 -i video=”視訊采集裝置名稱”:audio=”音頻采集裝置名稱” -vcodec 視訊編碼協定名 -b 帶寬 -vpre slow -acodec 音頻編碼協定名 -ab 音頻帶寬 -f 傳輸協定名 rtmp://server/application/stream_name

例：

ffmpeg -r 25 -f dshow -s 640×480 -i video="video source name":audio="audio source name" -vcodec libx264 -b 600k -vpre slow -acodec libfaac -ab 128k -f flv rtmp://server/application/stream_name

檔案->[轉碼]->媒體流發送

ffmpeg -i 檔案名 -re -vcodec 編解碼協定名 -f 傳輸協定名（如果是編解碼協定即為裸流） udp[rtp]://ip:port

-re 按照原來幀率發送

-vcodec copy 不用重新編解碼，編解碼協定名包括 h264、mpeg2video

-f 傳輸協定名（如果是編解碼協定即為裸流），h264、mpeg2video、rtp

例：

ffmpeg -re -i 1.h264 -vcodec copy -f h264 udp://ip:port  udp傳輸264裸流
ffmpeg -re -i 1.h264 -vcodec mpeg2video -f mpeg2video udp://ip:port udp傳輸轉碼後的mpeg2video裸流 
ffmpeg -re -i 1.h264 -vcodec copy -f rtp rtp://ip:port>test.sdp  rtp傳輸264流
ffmpeg -re -i 1.flv -vcodec copy -acodec copy -f flv -y rtmp://ip:1935/live/livestream  rtmp傳輸flv流

媒體流接收->解碼->顯示

ffplay -max_delay -f 編解碼協定名

-max_delay 最大時延

-f 傳輸協定名（如果是編解碼協定即為裸流），h264、mpeg2video、rtp

例：

ffplay -max_delay 100000 -f h264 udp://ip:port 播放264流
ffplay test.sdp 播放rtp流
ffplay "rtmp://ip/app/livestream live=1" 播放rtmp流

媒體流接收->[轉碼]->儲存檔案

ffmpeg -i 流媒體url -c copy[-c:v 視訊協定 -c:a 音頻協定或-vcodec 視訊協定 -acodec 音頻協定] 1.flv[mp4]

例：

ffmpeg -i rtmp://ip/live/streamName -c copy 1.flv

流媒體接收->[轉碼]->流媒體發送

ffmpeg -i 流媒體url -c copy[-c:v 視訊協定 -c:a 音頻協定或-vcodec 視訊協定 -acodec 音頻協定] 流媒體url

例：

ffmpeg -i rtmp://ip/live/originalStream -c:a copy -c:v libx264 -vpre slow -f flv rtmp://server/live/h264Stream  
如果中間有空格，則加雙引号 "rtmp://server/live/h264Stream live=1"
ffmpeg -i rtmp://ip/live/originalStream -c:a libfaac -ar 44100 -ab 48k -c:v libx264 -vpre slow -vpre baseline -f flv rtmp://ip/live/h264Stream

多路

檔案推流+顯示

ffmpeg -re -i 1.h264 -pix_fmt yuv420p –f sdl 1.yuv -vcodec copy -f flv rtmp://localhost/Demo/livestream

由此可見ffmpeg也可以做為輸出工具，1.yuv不會真的生成

流媒體推流+不同清晰度轉碼

ffmpeg -re -i rtmp://server/live/high_FMLE_stream -acodec copy -vcodec x264lib -s 640×360 -b 500k -vpre medium -vpre baseline rtmp://server/live/baseline_500k -acodec copy -vcodec x264lib -s 480×272 -b 300k -vpre medium -vpre baseline rtmp://server/live/baseline_300k -acodec copy -vcodec x264lib -s 320×200 -b 150k -vpre medium -vpre baseline rtmp://server/live/baseline_150k -acodec libfaac -vn -ab 48k rtmp://server/live/audio_only_AAC_48k

流媒體推流+不同清晰度轉碼，沒有用-vpre medium，使用了-x264opts

ffmpeg -re -i rtmp://server/live/high_FMLE_stream -c:a copy -c:v x264lib -s 640×360 -x264opts bitrate=500:profile=baseline:preset=slow rtmp://server/live/baseline_500k -c:a copy -c:v x264lib -s 480×272 -x264opts bitrate=300:profile=baseline:preset=slow rtmp://server/live/baseline_300k -c:a copy -c:v x264lib -s 320×200 -x264opts bitrate=150:profile=baseline:preset=slow rtmp://server/live/baseline_150k -c:a libfaac -vn -b:a 48k rtmp://server/live/audio_only_AAC_48k

其他

用圖檔循環生成視訊

例：

ffmpeg.exe -i INPUT.jpg -an -vcodec libx264 -coder 1 -flags +loop -cmp +chroma -subq 10 -qcomp 0.6 -qmin 10 -qmax 51 -qdiff 4 -flags2 +dct8x8 -trellis 2 -partitions +parti8x8+parti4x4 -crf 24 -threads 0 -r 25 -g 25 -y OUTPUT.mp4

3. ffmpeg工具編譯

3.1 Linux環境下 ffmpeg編譯

Yasm

彙編編譯器

wget http://www.tortall.NET/projects/yasm/releases/yasm-1.2.0.tar.gz
tar xzvf yasm-1.2.0.tar.gz
cd yasm-1.2.0
./configure && make && make install

x264

H.264 軟體編碼器

git clone git://git.videolan.org/x264
cd x264
./configure --enable-shared && make && make install

LAME

mp3編解碼器

wget http://downloads.sourceforge.Net/project/lame/lame/3.99/lame-3.99.5.tar.gz
tar xzvf lame-3.99.5.tar.gz
cd lame-3.99.5
./configure --enable-nasm && make && make install

libogg

ogg編解碼器

wget http://downloads.xiph.org/releases/ogg/libogg-1.3.0.tar.gz
tar xzvf libogg-1.3.0.tar.gz
cd libogg-1.3.0
./configure && make && make install

libvorbis

vorbis編解碼器

wget http://downloads.xiph.org/releases/vorbis/libvorbis-1.3.3.tar.gz
tar xzvf libvorbis-1.3.3.tar.gz
cd libvorbis-1.3.3
./configure && make && make install

libvpx

vp8、vp9編解碼器

wget http://storage.googleapis.com/downloads.webmproject.org/releases/webm/libvpx-1.6.1.tar.bz2
cd libvpx
./configure  --enable-shared && make && make install

原來用的libvpx 1.3.0有問題

ubuntu16.04:

error: conflicting types for ‘max_align_t’

max_align_t C11/C++11

typedef struct {

long long max_align_ll __attribute((aligned(alignof(long long))));

long double max_align_ld __attribute((aligned(alignof(long double))));

} max_align_t;

libvpx

union max_align

{

char c;

short s;

long l;

int i;

float f;

double d;

void * v;

void (*q)(void);

};

typedef union max_align max_align_t;

棄用libvpx1.3.0

使用libvpx1.6.1

FAAD2

AAC編解碼器

wget http://downloads.sourceforge.net/project/faac/faad2-src/faad2-2.7/faad2-2.7.tar.gz
tar zxvf faad2-2.7.tar.gz
cd faad2-2.7 && make && make install

FAAC

AAC編解碼器

wget http://downloads.sourceforge.net/project/faac/faac-src/faac-1.28/faac-1.28.tar.gz
tar zxvf faac-1.28.tar.gz && make && make install

mpeg4ip.h:126: error: new declaration ‘char* strcasestr(const char*, const char*)’

解決方法：

mpeg4ip.h從124行extern “C”換成extern “C++”，到126行char 前加const結束。

Xvid

MPEG4編解碼器

wget http://downloads.xvid.org/downloads/xvidcore-1.3.2.tar.gz
tar zxvf xvidcore-1.3.2.tar.gz
cd xvidcore/build/generic
./configure && make && make install

fdk-aac

AAC編解碼器

git clone git://github.com/mstorsjo/fdk-aac
./configure && make && make install

opus

opus編解碼器

wget http://downloads.xiph.org/releases/opus/opus-1.1.4.tar.gz
tar zxvf opus-1.1.4.tar.gz
./configure && make && make install

rtmpdump

rtmp傳輸協定

wget http://rtmpdump.mplayerhq.hu/download/rtmpdump-2.3.tgz
apt-get install openssl 
apt-get install libssl-dev
apt-get install zlib1g-dev
tar zxvf rtmpdump-2.3.tgz
make && make install

ffmpeg

git clone git://source.ffmpeg.org/ffmpeg
cd ffmpeg
./configure \
    --enable-version3 \
    --enable-libvpx \
    --enable-libfdk-aac \
    --enable-libfaac \
    --enable-libvorbis \
    --disable-libopus \
    --enable-libmp3lame \
    --enable-libx264 \
    --enable-libxvid \
    --enable-librtmp \
    --enable-shared \
    --enable-gpl \
    --enable-postproc \
    --enable-nonfree \
    --enable-avfilter \
    --enable-pthreads
make && make install

修改/etc/ld.so.conf如下:

include ld.so.conf.d/*.conf

/lib

/lib64

/usr/lib

/usr/lib64

/usr/local/lib

/usr/local/lib64

ldconfig

3.2 Windows mingw環境下 ffmpeg編譯

未完待續

3.3 Windows VS2015環境下 ffmpeg編譯

未完待續

原文連結：FFmpeg基礎知識總結_ffmpeg lavfi_LeoChen1983的部落格-CSDN部落格

FFmpeg基礎知識總結

2.1 基本指令

3. ffmpeg工具編譯

3.1 Linux環境下 ffmpeg編譯

繼續閱讀

C++ iostream 疊代器 STL

Activity 與 Window、PhoneWindow、DecorView 之間的關系詳解

攝像頭的像素與分辨率之間的關系

常見的http響應頭内容介紹

Java基礎-JVM、JDK、JRE之間的關系

【基礎知識】【轉】原碼, 反碼, 補碼詳解

sum函數axis參數詳解(轉載)1 sum函數可以傳入一個axis的參數，這個參數怎麼了解呢？這樣了解：2 了解參數axis取值對sum結果的影響：

C#_ImageList和ListView的使用

QNX的詳細介紹

BUG單内容規範

VC6.0中友元函數通路類的私有成員的bug

程式設計語言十大熱門哦

學習Shell腳本必須先掌握Shell腳本的基礎知識。249個Shell腳本随學随用，包括：1、防範DOS攻擊的腳本。2

nginx基礎知識（掌握）

體二極管的原理及應用

shell排序基本思想及其複雜度分析