北京哪个医院专业治疗白癜风 https://yyk.familydoctor.com.cn/2831/schedule_100358_1/MediaCodec是Android提供的用于对音视频进行编解码的类，它通过访问底层的codec来实现编解码的功能。是Androidmedia基础框架的一部分，通常和MediaExtractor,MediaSync,MediaMuxer,MediaCrypto,MediaDrm,Image,Surface和AudioTrack一起使用。
历史：
Android4.1,API16，MediaCodec的首个版本。
Android4.3,API18，扩展了一种通过Surface提供输入的方法（createInputSurface），这样允许输入来自于摄像头的预览或者是经过OpenGLES渲染。
Android5.0,API21，引入了“异步模式”。
强烈建议从示例代码开始了解MediaCodec，而不是试图从文档把它搞清楚。
2.支持的数据类型
编解码器支持的数据类型：压缩的音视频据、原始音频数据和原始视频数据。
数据通过ByteBuffers类来表示。
可以设置Surface来获取/呈现原始的视频数据，Surface使用本地的视频buffer，不需要进行ByteBuffers拷贝。可以让编解码器的效率更高。
通常在使用Surface的时候，无法访问原始的视频数据，但是可以使用ImageReader访问解码后的原始视频帧。在使用ByteBuffer的模式下，可以使用Image类和getInput/OutputImage(int)获取原始视频帧。
压缩数据：
MediaFormat#KEY_MIME格式类型。
对于视频类型，通常是一个单独的压缩视频帧。
对于音频数据，通常是一个单独的访问单元(一个编码的音频段通常包含由格式类型决定的几毫秒的音频)，但是这个要求稍微宽松一些，因为一个buffer可能包含多个编码的音频访问单元。
在这两种情况下，buffer都不会在任意字节边界上开始或结束，而是在帧/访问单元边界上开始或结束，除非它们被BUFFER_FLAG_PARTIAL_FRAME标记。
原始音频buffer
原始音频buffer包含PCM音频数据的整个帧，这是每个通道按通道顺序的一个样本。每个样本都是一个AudioFormat#ENCODING_PCM_16BIT。
原始视频buffer
在ByteBuffer模式下，视频buffer根据它们的MediaFormat#KEY_COLOR_FORMAT进行布局。可以从getCodecInfo().MediaCodecInfo.getCapabilitiesForType.CodecCapability.colorFormats获取支持的颜色格式。视频编解码器可以支持三种颜色格式
/p>
nativerawvideoformat:CodecCapabilities.COLOR_FormatSurface，可以与输入/输出的Surface一起使用。
flexibleYUVbuffers例如CodecCapabilities.COLOR_FormatYUVFlexible，可以使用getInput/OutputImage(int)与输入/输出Surface一起使用，也可以在ByteBuffer模式下使用。
other,specificformats:通常只支持ByteBuffer模式。有些颜色格式是厂商特有的，其他定义在CodecCapabilities。对于等价于flexible格式的颜色格式，可以使用getInput/OutputImage(int)。
从Build.VERSION_CODES.LOLLIPOP_MR1.开始，所有视频编解码器都支持flexible的YUV4:2:0buffer。
3.使用MediaCodec的编解码流程
一些编解码器对于它们的buffer要求是比较特殊的，比如内存对齐或是有特定的最小最大限制，为了适应广泛的可能性，buffer分配是由编解码器实现的。
这看起来和“零拷贝”原则是相悖的，但大部分情况发生拷贝的几率是比较小的，因为编解码器并不需要复制或调整这些数据来满足要求，而且大多数情况可以直接使用buffer，比如直接从磁盘或网络读取数据到buffer中，不需要复制。
MediaCodec采用异步方式处理数据，并且使用了一组输入输出buffer（ByteBuffer）。
使用者从MediaCodec请求一个空的输入buffer（ByteBuffer），填充满数据后将它传递给MediaCodec处理。
MediaCodec处理完这些数据并将处理结果输出至一个空的输出buffer（ByteBuffer）中。
使用者从MediaCodec获取输出buffer的数据，消耗掉里面的数据，使用完输出buffer的数据之后，将其释放回编解码器。
流程如下图所示：
4.MediaCodec的生命周期
MediaCodec的生命周期有三种状态：Stopped、Executing、Released。
Stopped，包含三种子状态：Uninitialized、Configured、Error。
Executing，包含三种子状态：Flushed、Running、End-of-Stream。
Stopped的三种子状态：
Uninitialized：当创建了一个MediaCodec对象，此时处于Uninitialized状态。可以在任何状态调用reset()方法使MediaCodec返回到Uninitialized状态。
Configured：使用configure(…)方法对MediaCodec进行配置转为Configured状态。
Error：MediaCodec遇到错误时进入Error状态。错误可能是在队列操作时返回的错误或者异常导致的。
Executing的三种子状态：
Flushed：在调用start()方法后MediaCodec立即进入Flushed子状态，此时MediaCodec会拥有所有的缓存。可以在Executing状态的任何时候通过调用flush()方法返回到Flushed子状态。
Running：一旦第一个输入缓存（inputbuffer）被移出队列，MediaCodec就转入Running子状态，这种状态占据了MediaCodec的大部分生命周期。通过调用stop()方法转移到Uninitialized状态。
End-of-Stream：将一个带有end-of-stream标记的输入buffer入队列时，MediaCodec将转入End-of-Stream子状态。在这种状态下，MediaCodec不再接收之后的输入buffer，但它仍然产生输出buffer直到end-of-stream标记输出。
Released
当使用完MediaCodec后，必须调用release()方法释放其资源。调用release()方法进入最终的Released状态。
5.MediaCodecAPI简介
上面MediaCodec的生命周期的图中包含了MediaCodec一些主要的方法，下面对
MediaCodec主要的API做一个介绍：
MediaCodec创建：
createDecoderByType/createEncoderByType：根据特定MIME类型(如video/avc)创建codec。
createByCodecName：知道组件的确切名称(如OMX.google.mp3.decoder)的时候，根据组件名创建codec。使用MediaCodecList可以获取组件的名称。
configure：配置解码器或者编码器。
start：成功配置组件后调用start。
buffer处理的接口：
dequeueInputBuffer：从输入流队列中取数据进行编码操作。
queueInputBuffer：输入流入队列。
dequeueOutputBuffer：从输出队列中取出编码操作之后的数据。
releaseOutputBuffer：处理完成，释放ByteBuffer数据。
getInputBuffers：获取需要编码数据的输入流队列，返回的是一个ByteBuffer数组。
getOutputBuffers：获取编解码之后的数据输出流队列，返回的是一个ByteBuffer数组。
flush：清空的输入和输出端口。
stop：终止decode/encode会话
release：释放编解码器实例使用的资源。
5.1MediaCodec创建
MediaCodec的一个实例处理一种特定类型的数据(例如MP3音频或H.视频)，进行编码或解码操作。
MediaCodec创建：
可以使用MediaCodecList为特定的媒体格式创建一个MediaCodec。
可以从MediaExtractor#getTrackFormat获得track的格式。
使用MediaFormat#setFeatureEnabled注入想要添加的任何特性。
然后调用MediaCodecList#findDecoderForFormat来获取能够处理该特定媒体格式的编解码器的名称。
最后，使用createByCodecName(字符串)创建编解码器。
还可以使用createDecoder/EncoderByType(java.lang.String)为特定MIME类型创建首选的编解码器。但是，这不能用于注入特性，并且可能会创建一个不能处理特定媒体格式的编解码器。
5.2configure
配置codec。
publicvoidconfigure(
MediaFormatformat,
Surfacesurface,MediaCryptocrypto,intflags);
MediaFormatformat：输入数据的格式(解码器)或输出数据的所需格式(编码器)。传null等同于传递MediaFormat#MediaFormat作为空的MediaFormat。
Surfacesurface：指定Surface，用于解码器输出的渲染。如果编解码器不生成原始视频输出(例如，不是视频解码器)和/或想配置解码器输出ByteBuffer，则传null。
MediaCryptocrypto：指定一个crypto对象，用于对媒体数据进行安全解密。对于非安全的编解码器，传null。
intflags：当组件是编码器时，flags指定为常量CONFIGURE_FLAG_ENCODE。
MediaFormat：封装描述媒体数据格式的信息(包括音频或视频)，以及可选的特性元数据。
媒体数据的格式指定为key/value对。key是字符串。值可以integer、long、float、String或ByteBuffer。
特性元数据被指定为string/boolean对。
5.3dequeueInputBuffer
publicfinalintdequeueInputBuffer(longtimeoutUs)
返回用于填充有效数据的输入buffer的索引，如果当前没有可用的buffer，则返回-1。
longtimeoutUs：等待可用的输入buffer的时间。
如果timeoutUs==0，则立即返回。
如果timeoutUs0，则无限期等待可用的输入buffer。
如果timeoutUs0，则等待“timeoutUs”微秒。
5.4queueInputBuffer
在指定索引处填充输入buffer后，使用queueInputBuffer将buffer提交给组件。
特定于codec的数据
许多codec要求实际压缩的数据流之前必须有“特定于codec的数据”，即用于初始化codec的设置数据，如
AVC视频中的PPS/SPS。
vorbis音频中的codetables。
publicnativefinalvoidqueueInputBuffer(
intindex,
intoffset,intsize,longpresentationTimeUs,intflags)
intindex：以前调用dequeueInputBuffer(long)返回的输入buffer的索引。
intoffset：数据开始时输入buffer中的字节偏移量。
intsize：有效输入数据的字节数。
longpresentationTimeUs：此buffer的PTS(以微秒为单位)。
intflags：一个由BUFFER_FLAG_CODEC_CONFIG和BUFFER_FLAG_END_OF_STREAM标志组成的位掩码。虽然没有被禁止，但是大多数codec并不对输入buffer使用BUFFER_FLAG_KEY_FRAME标志。
BUFFER_FLAG_END_OF_STREAM：用于指示这是输入数据的最后一部分。
BUFFER_FLAG_CODEC_CONFIG：通过指定这个标志，可以在start()或flush()之后直接提交特定于codec的数据buffer。但是，如果您使用包含这些密钥的媒体格式配置编解码器，它们将在启动后由MediaCodec直接自动提交。因此，不建议使用BUFFER_FLAG_CODEC_CONFIG标志，只建议高级用户使用。
5.5dequeueOutputBuffer
从MediaCodec获取输出buffer。
publicfinalintdequeueOutputBuffer(
NonNullBufferInfoinfo,longtimeoutUs)
返回值：已成功解码的输出buffer的索引或INFO_*常量之一(INFO_TRY_AGAIN_LATER,INFO_OUTPUT_FORMAT_CHANGED或INFO_OUTPUT_BUFFERS_CHANGED)。
返回INFO_TRY_AGAIN_LATER而timeoutUs指定为了非负值，表示超时了。
返回INFO_OUTPUT_FORMAT_CHANGED表示输出格式已更改，后续数据将遵循新格式。
BufferInfoinfo：输出buffer的metadata。
longtimeoutUs：含义同dequeueInputBuffer中的timeoutUs参数。
BufferInfo
publicfinalstaticclassBufferInfo{
publicvoidset(
intnewOffset,intnewSize,longnewTimeUs,intnewFlags);
publicintoffset;
publicintsize;
publiclongpresentationTimeUs;
publicintflags;
};
offset：buffer中数据的起始偏移量。
注意设备之间的offset是不一致的。在一些设备上，offset是相对裁剪矩形的左上角像素，而在大多数设备上，offset是相对整个帧的左上角像素。
size：buffer中的数据量(以字节为单位)。如果是0则表示buffer中没有数据，可以丢弃。0大小的buffer的唯一用途是携带流结束标记。
presentationTimeUs：buffer的PTS(以微秒为单位)。来源于相应输入buffer一起传入的PTS。对于大小为0的buffer，应该忽略这个值。
flags：与buffer关联的标识信息，flags包含如下取值：
BUFFER_FLAG_KEY_FRAME：buffer包含关键帧的数据。
BUFFER_FLAG_CODEC_CONFIG：buffer包含编解码器初始化/编解码器特定的数据，而不是媒体数据。
BUFFER_FLAG_END_OF_STREAM：标志着流的结束，即在此之后没有buffer可用，除非后面跟着flush。
BUFFER_FLAG_PARTIAL_FRAME：buffer只包含帧的一部分，解码器应该对数据进行批处理，直到在解码帧之前出现没有该标志的buffer为止。
publicstaticfinalintBUFFER_FLAG_KEY_FRAME=1;
publicstaticfinalintBUFFER_FLAG_CODEC_CONFIG=2;
publicstaticfinalintBUFFER_FLAG_END_OF_STREAM=4;
publicstaticfinalintBUFFER_FLAG_PARTIAL_FRAME=8;
5.6releaseOutputBuffer
使用此方法将输出buffer返回给codec或将其渲染在输出surface。
publicvoidreleaseOutputBuffer(intindex,
booleanrender)
booleanrender：如果在配置codec时指定了一个有效的surface，则传递true会将此输出buffer在surface上渲染。一旦不再使用buffer，该surface将把buffer释放回codec。
6.同步和异步API的使用流程
6.1同步API的使用流程
-创建并配置MediaCodec对象。
-循环直到完成：
-如果输入buffer准备好了：
-读取一段输入，将其填充到输入buffer中
-如果输出buffer准备好了：
-从输出buffer中获取数据进行处理。
-处理完毕后，releaseMediaCodec对象。
官方文档中给出的同步API的代码示例
MediaCodeccodec=MediaCodec.createByCodecName(name);
codec.configure(format,…);
MediaFormatoutputFormat=codec.getOutputFormat();//optionB
codec.start();
for(;;){
intinputBufferId=codec.dequeueInputBuffer(timeoutUs);
if(inputBufferId=0){
ByteBufferinputBuffer=codec.getInputBuffer(…);
//fillinputBufferwithvaliddata
…
codec.queueInputBuffer(inputBufferId,…);
}
intoutputBufferId=codec.dequeueOutputBuffer(…);
if(outputBufferId=0){
ByteBufferoutputBuffer=codec.getOutputBuffer(outputBufferId);
MediaFormatbufferFormat=codec.getOutputFormat(outputBufferId);//optionA
//bufferFormatisidenticaltooutputFormat
//outputBufferisreadytobeprocessedorrendered.
…
codec.releaseOutputBuffer(outputBufferId,…);
}elseif(outputBufferId==MediaCodec.INFO_OUTPUT_FORMAT_CHANGED){
//Subsequentdatawillconformtonewformat.
//CanignoreifusinggetOutputFormat(outputBufferId)
outputFormat=codec.getOutputFormat();//optionB
}
}
codec.stop();
codec.release();
6.2异步API的使用流程
在Android5.0,API21，引入了“异步模式”。
-创建并配置MediaCodec对象。
-给MediaCodec对象设置回调MediaCodec.Callback
-在onInputBufferAvailable回调中：
-读取一段输入，将其填充到输入buffer中
-在onOutputBufferAvailable回调中：
-从输出buffer中获取数据进行处理。
-处理完毕后，releaseMediaCodec对象。
官方文档中给出的异步API的代码示例
MediaCodeccodec=MediaCodec.createByCodecName(name);
MediaFormatmOutputFormat;//membervariable
codec.setCallback(newMediaCodec.Callback(){
Override
voidonInputBufferAvailable(MediaCodecmc,intinputBufferId){
ByteBufferinputBuffer=codec.getInputBuffer(inputBufferId);
//fillinputBufferwithvaliddata
…
codec.queueInputBuffer(inputBufferId,…);
}
Override
voidonOutputBufferAvailable(MediaCodecmc,intoutputBufferId,…){
ByteBufferoutputBuffer=codec.getOutputBuffer(outputBufferId);
MediaFormatbufferFormat=codec.getOutputFormat(outputBufferId);//optionA
//bufferFormatisequivalenttomOutputFormat
//outputBufferisreadytobeprocessedorrendered.
…
codec.releaseOutputBuffer(outputBufferId,…);
}
Override
voidonOutputFormatChanged(MediaCodecmc,MediaFormatformat){
//Subsequentdatawillconformtonewformat.
//CanignoreifusinggetOutputFormat(outputBufferId)
mOutputFormat=format;//optionB
}
Override
voidonError(…){
…
}
});
codec.configure(format,…);
mOutputFormat=codec.getOutputFormat();//optionB
codec.start();
//waitforprocessingto
