二、FFmpeg的模块结构

[TOC]

开始前的BB

我发现 很多都是上来直接撸，撸完了发现其实还是什么都不会，自己知道ffmpeg有什么自带的东西可以参考的也不了解，那还搞个?，，脑海中没有大体的认知，很容易就迷失在细节里无法自拔，只知其术不知其道理，紧接着下一个阶段就是找大佬萌新三连

不要慌

这篇文章主要就是给大家一个大体的认知，来认识FFmpeg这个框架，由表及里，由浅入深，解开她神秘的面纱

FFmpeg框架的结构

祖传ffmpeg结构图镇楼

其中 ffplay ffmpeg ffprobe 这三个是ffmpeg里面的能编译为可执行文件的三个功能很强大的东西,这个在我们上面下载的动态库/静态库文件里的

• ffplay: ffplay是一个非常经典的播放器实现，对于做播放器的朋友，写播放器的时候一定要要去参考，像ijkplayer 就是基于ffplay，同步等地方改动的很少，大部分改动都在显示的部分，主要是实现了解码后的yuv数据上传到opengles，以及封装音频播放的接口（AudioTrack）等。
• ffmpeg: ffmpeg这个工具里面包含了很多功能，像轨道提取，视频裁剪，转码、水印、滤镜等功能
• ffprobe: ffprobe是一个查看视频格式信息的工具，包括封装信息、视频信息、音频信息等

以上三个工具我们下章讲他一些常用的命令。

底层支撑库简介

除了这三个工具类外，底层的组成部分有以下几个：

avutil

avutil

核心的工具库;其他的模块都会依赖这个库，定义了一些常用的枚举，工具类(加解密、时间、日志，FIFO队列、内存分配、大小端转换等)

avformat

avformat

协议与格式库; 这个模块封装了Protocol、Demuxer、Muxer层，是ffmpeg最重要的模块之一,相当于Android中的

MediaExtracotor

avcodec

avcodec

编解码库;封装了Codec,该模块内置很多解码器，在自己的注册列表中，一些有自己的License的第三方Codec,比如X264.fdk-aac等都可以通过插件的方式添加进来

avfilter

avfilter

音视频滤镜库;提供了很多音频与视频特效处理，可以在编解码过程中直接调用该模块为音视频数据做特效处理，这个处理是利用CPU进行处理的，音频的处理一般都是比较快，影响不是特别的大 视频的处理的，，效率是没有利用OpenGL通过GPU进行处理快

avdevice

avdevice

输入输出设备库; 比如，需要编译出播放声音或者视频的ffplay,就需要确保此模块是打开状态,同时也需要SDL库的预编译，这个设备模块的播放声音与播放视频使用的都是SDL库,也包含了其他的输入/输出设备

swresample

swresample

音频冲采样模块;可以对数字音频进行声道数、采样率、位宽等多种基本信息的转换,比如将SimpleForamt为

AV_SAMPLE_FMT_FLTP

转换为

AV_SAMPLE_FMT_S16P

格式的

swscale

swscale

图像数据格式转换模块; 比如可以将YUV数据转换为RGB数据，尺寸从1920 * 1080 缩放为 800 * 480

postproc

postproc

avfilter的处理会依赖该模块的一些函数

常用数据结构

• AVFormatContext

  封装格式上下文结构体，保存了视频文件封装格式相关信息

• AVInputFormat

  demuxer结构体，每一种封装格式对应一个该结构体(FLV MKV MP4 AVI)

  AVOutpuFormat

  对应muxer

• AVStream

  媒体文件中每个视频/音频流对应一个该结构体

• AVCodecContext

  编解码器上下文结构，保存了饮品是编解码相关的信息

• AVCodec

  每个视频/音频编解码器对应一个结构体

• AVPacket

  储存街凤凰后的一帧压缩编码数据

• AVFrame

  储存一阵解码后的像素/采样数据

常用核心函数

主要讲

avformat

和

avcodc

两个库的比较重要的函数

avformat

• avformat_network_init()

  注册网络，初始化网络库以及网络加密协议相关的库 (openssl)

• avformat_alloc_context()

  负责申请一个

  AvFormatContext

  结构的内存，并进行简单的初始化

• avforamt_free_context()

  释放该结构体里的所有东西，以及他本身 ，通常与

  avformat_alloc_context()

  成对出现

• avformat_close_input()

  关闭解复用器，关闭后就不需要调用

  avforamt_free_context()

  进行释放,因为他内部会调用

  avformat_free_context()

  方法进行释放

• avformat_open_input()

  打开输入文件

• avformat_find_stream_info()

  获取视频文件信息

• av_read_frame()

  读取音视频包AVPacket

• avformat_seek_file()

  通过文件字节进行Seek

• av_seek_frame()

  可以通过相应的格式选择Seek到关键帧还是指定帧以及字节

解复用的调用流程如下

1. 分配一个AVFormatContext的上下文
2. 打开视频文件
3. 寻找到对应的流信息
4. 循环读取流/或者在中间seek到指定的位置
5. 结束读取，关闭流，释放空间

更详细的代码会在后面的章节中有示例代码

avcodec

• avcodec_alloc_context3()

  分配解码器的上下文

• avcodec_find_decoder()

  根据Id查找解码器

• avcodec_find_decoder_by_name()

  根据解码器名字查找解码器

• avcodec_open2()

  打开编解码器

• avcodec_send_packet()

  发送解封装后的数据包

• avcodec_recive_frame()

  接受解码后的数据

• avcodec_free_context()

  释放解码器上下文

• avcodec_close()

  关闭解码器

解码器的调用流程如下

1. 分配一个AVCodecContext
2. 将AVStream里的Codec的参数传递到AVCodecContext
3. 根据Id或者名字寻找的相应的解码器
4. 打开解码器
5. 发送AVPacket(解封装的数据) ---> 接受到解码后的数据(YUV/PCM)
6. 关闭解码器，释放AVCodecContext

关于FFmpeg的核心的结构体与函数，以及相应的解复用/解码的流程先了解这么多，有个大概的印象，我们在后面的文章里，就会慢慢体会到他们带来的无穷快感

一袋米要抗几楼 (痛みを感じるようにしましょう) 的佩恩警告⚠️ (づ｡◕‿‿◕｡)づ

未完持续。。。

转载于:https://juejin.im/post/5cad71926fb9a068b7489db5