Android Camera系列（六）：MediaCodec视频编码上-编码YUV

已于 2025-01-10 15:39:24 修改
阅读量2.2k 收藏 15
点赞数 25
CC 4.0 BY-SA版权
分类专栏： Android音视频 Android Camera 文章标签： android 音视频 MediaCodec 硬编码
于 2024-11-11 09:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaozhiwz/article/details/143114530

己所不欲勿施于人

本系列主要讲述Android开发中Camera的相关操作、预览方式、视频录制等。项目结构简单、代码耦合性低，旨在帮助大家能从中有所收获（方便copy :） ），对于个人来说也是一个总结的好机会。

Alt

引言

前面我们已经花费了大量的章节来讲解Camera配合各种View用来预览、拍照等，接下来我们来讲解如何进行视频录制。Android中要进行录制视频有很多种方式，如：使用系统相机录制、MediaRecorder+Camera自定义录制等。如果上面的方式能够满足你的需求，那本章你可以划走了。

假如有这么一种需求，我们要获取Camera的帧数据流YUV进行实时检测识别，同时我又要将检测到的数据进行保存，那么MediaCodec就很合适，MediaCodec（硬编解码器）主要对帧数据进行编解码处理。实际的例子就好比抖音拍摄视频，人实时美颜或贴图后将视频保存。

除了可以使用MediaCodec对数据流进行编解码，还有ffmpeg同样也可以。

  • MediaCodec属于硬解码，处理数据使用GPU效率高，功能受硬件限制兼容性略低。
  • ‌FFmpeg属于软解码，处理数据使用CPU效率低，功能强大兼容性好。当然该方式不在我们本章讨论范围

MediaCodec介绍

MediaCodec是Android平台上的一个多媒体编解码器，它可以用于对音频和视频进行编解码。通过MediaCodec，开发者可以直接访问底层的编解码器，实现更高效的音视频处理。同时，MediaCodec也支持硬件加速，可以利用设备的硬件资源来提高编解码的性能。MediaCodec主要应用于以下几个方面：

  1. 音视频编解码：MediaCodec可以对音频和视频进行硬件加速的编解码处理，可以实现高效的音视频处理和播放。
  2. 多媒体格式支持：支持常见的音视频格式，包括H.264、AAC、MP3等，可以进行解码和编码操作。
  3. 硬件加速：利用设备的硬件加速功能，可以提高音视频处理的效率和性能。
  4. 实时处理：支持实时的音视频处理，适用于实时通信、直播等场景。
  5. 自定义处理：可以通过MediaCodec进行自定义的音视频处理，如滤镜、特效等操作。

MediaCodec在Android平台上提供了强大的音视频编解码功能，可以用于多媒体应用的开发和优化。

硬编码流程

  1. 使用MediaCodec，将yuv数据编码获得h264数据
  2. MediaMuxer用来封装h264获得一个mp4文件

MediaCodec使用

1. 创建MediaCodec

通过静态方法创建：createDecoderByType、createEncoderByType、createByCodecName

使用 createDecoderByType、createEncoderByType两个，创建用于解码和编码的实体，传入参数为编解码器的mime type名称。createByCodecName需要传入具体编解码器的名称。

官方建议：最好使用MediaCodecList.findEncoderForFormat和createByCodecName来确保生成的编解码器可以处理给定的格式。

mime可用的类型：

*   "video/x-vnd.on2.vp8" - VP8 video (i.e. video in .webm)
*   "video/x-vnd.on2.vp9" - VP9 video (i.e. video in .webm)
*   "video/avc" - H.264/AVC video
*   "video/hevc" - H.265/HEVC video
*   "video/mp4v-es" - MPEG4 video
*   "video/3gpp" - H.263 video
*   "audio/3gpp" - AMR narrowband audio
*   "audio/amr-wb" - AMR wideband audio
*   "audio/mpeg" - MPEG1/2 audio layer III
*   "audio/mp4a-latm" - AAC audio (note, this is raw AAC packets, not packaged in LATM!)
*   "audio/vorbis" - vorbis audio
*   "audio/g711-alaw" - G.711 alaw audio
*   "audio/g711-mlaw" - G.711 ulaw audio

最常用的是 ： “video/avc” - H.264/AVC video，现在网络上流传的短视频的视轨格式基本上都是H264。

private static final String MIME_TYPE = "video/avc";

// 创建MediaCodec
MediaCodec mMediaCodec = MediaCodec.createEncoderByType(MIME_TYPE);

2. 配置MediaCodec

实例化MediaCodec后，我们需要配置一些参数如：视频录制的宽高、码率、帧率等信息。配置使用的类是MediaFormat

调用MediaCodec的configure方法：

public void configure(
            MediaFormat format,
            Surface surface,
            MediaCrypto crypto,
            int flags
);
  • MediaFormat format：输入数据的格式(解码器)或输出数据的所需格式(编码器)。
  • Surface surface：指定surface，一般用于解码器，设置后解码的内容会被渲染到所指定的surface上。无需要则传null
  • MediaCrypto crypto：指定一个crypto对象，用于对媒体数据进行安全解密。对于非安全的编解码器，传null。
  • int flags：当组件是编码器时，flags指定为常量CONFIGURE_FLAG_ENCODE。

后面三个参数基本是固定的，基本不需要变化。

第一个参数MediaFormat是需要我们深入去了解下，解码的情况下，该参数大多通过MediaExtractor从视频中获取，这里先不讨论。编码的情况实体需要由我们来进行创建，常用的方法是它的静态方法：createVideoFormat、createAudioFormat。
以视频为例：

MediaFormat format = MediaFormat.createVideoFormat(MIME,width, height);
  • MIME:第一步中的mine_type
  • width,height:视频的分辨率/高宽

MediaFormat 必须设置的参数：YUV编码格式、比特率、帧率、关键帧间隔，不设置会报异常。

// 设置编码yuv格式
format.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar);
// 设置比特率
format.setInteger(MediaFormat.KEY_BIT_RATE, 1 * 1024 * 1024);
// 设置帧率
format.setInteger(MediaFormat.KEY_FRAME_RATE, 15);
// 设置关键帧间隔，单位：秒
format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 5);

需要特別说明的是MediaFormat.KEY_COLOR_FORMAT ：该属性用于指明video编码器的颜色格式，具体选择哪种颜色格式与输入的视频数据源颜色格式有关。
比如：Camera预览采集的图像流通常为NV21或YV12，那么编码器需要指定相应的颜色格式，否则编码得到的数据可能会出现花屏、叠影、颜色失真等现象。

MediaCodecInfo.CodecCapabilities.存储了编码器所有支持的颜色格式，常见颜色格式映射如下：

// 最常用的
MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar, // 19， I420，测试通过
MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar, // 21， NV12，测试通过
// 其他不常用
MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420PackedPlanar, // 20， I420，测试通过
MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420PackedSemiPlanar, // 39， NV12, 测试通过

YUV各种格式还不熟悉的，请看下面的说明:

  • YUV420p: I420、YV12
  • YUV420sp: NV12、NV21

同样，对于一个6*4的图像，这四种像素格式的存储方式如下：

	Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
	Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
	Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
	Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
	U U U U U U      V V V V V V      U V U V U V      V U V U V U
	V V V V V V      U U U U U U      U V U V U V      V U V U V U
     - I420 -          - YV12 -         - NV12 -         - NV21 -

虽然MediaCodec支持了多种YUV编码格式，而且代码中也有对应的值，但是正如我们引言中说的MediaCodec兼容性不好。支持哪种硬编码格式需要根据硬件来定，这也是大多数初入MediaCodec的人来说最头疼的地方。

3. 选择合适的编码器

MediaCodec都知道是硬编解码器，其实不然。他也是支持软编解码的，软编解码由Google实现，硬编解码由厂商自定义。这也就是兼容性的根源，因为我们不知道厂商是否真的支持硬编解码。我们只能自己查找合适的编解码器。而每种编解码器支持编码的YUV格式又不尽相同，我们是优先选择编码器还是优先选择YUV格式这是我们需要抉择的。

看过大部分的博文讲解都是优先选择编码器，而一旦我们选择的编码器后，就只能使用编码器中支持的YUV格式进行编码，如果发现YUV格式不是我们想要的，那么就会编码失败。而我们这里优先根据YUV格式来选择编码器，这么做的理由是有更好的兼容性，但是可能会牺牲一部分性能。

public class MediaVideoBufferEncoder extends MediaEncoder implements IVideoEncoder {
   
   

    private static final String MIME_TYPE = "video/avc";

    protected int mColorFormat;

	...
    
    /**
     * select the first codec that match a specific MIME type
     *
     * @param mimeType
     * @return null if no codec matched
     */
    @SuppressWarnings("deprecation")
    protected final MediaCodecInfo selectVideoCodec(final String mimeType) {
   
   
        if (DEBUG) Log.v(TAG, "selectVideoCodec:");

        // get the list of available codecs
        final int numCodecs = MediaCodecList.getCodecCount();
        // 硬编码器列表
        List<MediaCodecInfo> hardwareCodecInfoList = new ArrayList<>();
        // 软编码器列表
        List<MediaCodecInfo> softwareCodecInfoList = new ArrayList<>();

        for (int i = 0; i < numCodecs; i++) {
   
   
            final MediaCodecInfo codecInfo = MediaCodecList.getCodecInfoAt(i);

            if (!codecInfo.isEncoder()) {
   
     // skipp decoder
                continue;
            }

            /**
             * 硬件编解码器
             * OMX.qcom.video.encoder.heic
             * OMX.qcom.video.decoder.avc
             * OMX.qcom.video.decoder.avc.secure
             * OMX.qcom.video.decoder.mpeg2
             * OMX.google.gsm.decoder
             * OMX.qti.video.decoder.h263sw
             * c2.qti.avc.decoder
             *
             * 软件编解码器，通常以OMX.google或者c2.android开头
             * OMX.google.h264.encoder
             * c2.android.aac.decoder
             * c2.android.aac.decoder
             * c2.android.aac.encoder
             * c2.android.aac.encoder
             * c2.android.amrnb.decoder
             * c2.android.amrnb.decoder
             */
            // select first codec that match a specific MIME type and color format
            final String[] types = codecInfo.getSupportedTypes();
            for (int j = 0; j < types.length; j++) {
最低0.47元/天 解锁文章

200万优质内容无限畅学
Android APP 音视频（03）CameraX预览与MediaCodec编码
wangdsh的博客
07-23 2017
CameraX 是一个由 Google 开发的 Android Jetpack 库，旨在简化 Android 应用中的相机操作。它提供了一个一致的 API 界面，使得开发者可以更容易地在应用中集成和使用相机功能。简化的 API：CameraX 提供了一个简单且一致的 API，使得开发者可以轻松地访问相机硬件，而无需处理底层的复杂性。兼容性：CameraX 支持从 Android 5.0（API 级别 21）到最新版本的 Android 系统，确保了广泛的设备兼容性。预览和捕获。
Android 音视频入门 （四）- 记录一次MediaCodec
Java364102的博客
04-25 607
如果设备的DSP芯片比较差，支持的格式也更少，硬解码是无法使用的，因此也应该适时地引入手段进行软件解码（FFmpeg等等）。这里仅例举MediaCodec的使用。格式必须配套，不配套的话会导致：色彩和位置之间的偏差、偏色、花屏等等各种问题。 private val MEDIA_TYPE = MediaFormat.MIMETYPE_VIDEO_AVCprivate val MEDIACODEC_COLOR_FORMAT = MediaCodecInfo.CodecCapabilities.COLOR_For
Android 采用MediaCodec实现Camera预览视频编解码
12-14
Android MediaCodec 实现Camera预览帧数据编解码并投射至另外的SurfaceView显示，另外附加Camera2的使用。
Android原生编解码接口MediaCodec详解
音视频开发进阶
02-22 7237
PS：有些想法可以先开始，慢慢完善才是好的选择。MediaCodec 是 Android 中的编解码器组件，用来访问底层提供的编解码器，通常与 MediaExtractor、MediaSy...
android 媒体框架之MediaCodec
最新发布
aningxiaoxixi的博客
05-31 1819
MediaCodec 是 Android 底层多媒体框架的核心组件，负责高效处理音视频编解码任务。：避免频繁申请内存，提升性能（尤其高清视频）。硬件加速：优先选择设备专属编解码器（如。MediaCodec 通过。是同步与错误恢复的关键。
Android-Camera2-Video-MediaCodec
05-18
Android-Camera2Video-MediaCodec 带有Camera2的Android MediaCodec
Anroid camera + mediacodec
u011270282的专栏
10-21 860
具体代码参考：https://github.com/google/grafika/tree/master/src/com/android/grafika 主要流程： 1、生成一个oes textrure 2、通过上面生成的oes  texture，new一个surfacetexture，设置回调surfacetexture.setOnFrameAvailableListener(CB);
MediaCodec 使用（二）-- YUV打包成MP4
DLUT_WJX的博客
01-24 991
图像数据格式简介 YUV格式： planar：先连续存储所有像素点的Y，紧接着存储所有像素点的U，再存储所有像素点的V， 将Y、U、V的三个分量分别存放在不同的矩阵中 packed：将Y、U、V值存储成Macro Pixels数组，和RGB的存放方式类似 YUV存储： 主流的采样方式主要有：YUV444，YUV422，YUV420，只有正确的还原每个像素点的YUV值，才能通过YUV与RGB的转换公式提取出每个像素点的RGB值，然后显示出来 YUV 4:4:4表示完全取样，每一个Y对应一组UV分量
Android Camera系列（八）：MediaCodec视频编码下-OpenGL ES离屏渲染
xiaozhiwz的专栏
12-30 1248
MediaCodec硬编码总算是讲完了，我们用了3个章节由浅入深的介绍了Android下是如何硬编码的，对YUV数据进行编码，也能使用OpenGL ES渲染到Surface上进行编码。但这仅仅只是一个开始，还有更多的内容需要深入学习、探讨。
Android Camera系列（七）：MediaCodec视频编码中-OpenGL ES多线程渲染
xiaozhiwz的专栏
12-02 1165
本文继续讲解了MediaCodec硬编码视频，本节使用了共享EGL上下文的方式，将纹理数据渲染到MediaCodec中的Surface
Android Camera to H264 with MediaCodec: A Step-by-Step Guide
"本文主要介绍了如何在Android平台上利用MediaCodec API将摄像头采集的视频流进行H.264编码。首先，我们将从创建一个基本的Android Activity开始，它包含一个SurfaceView用于显示预览画面，并实现SurfaceHolder....
MediaCodec硬编码实现手机录屏功能，包括实时添加动态时间水印。
11-18
MediaCodec硬编码实现手机录屏功能，包括实时添加动态时间水印,真实项目中抽取出来的。
Android使用MediaRecorder实现录像功能
08-30
主要为大家详细介绍了Android使用MediaRecorder实现录像功能，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
研究Android音视频-2-MediaCodec使用：YUV码流编码为MP4的示例
2501_90404942的博客
01-29 678
\n" +“”/*打印示例“video/avc”:H.264硬件编码器“video/hevc”:H.265软解编码器*/查找指定的编解码器val codec = findCodec(“video/avc”, false, true)//查找H.264硬解码器it,mimeType= null。
Android音视频-MediaCodec
hn_lgc的专栏
05-02 3643
原文：https://mp.weixin.qq.com/s?__biz=MzU3NTA3MDU1OQ==&mid=2247484865&idx=1&sn=174b8ca702466e83e72c7115d91b06ea&chksm=fd298df1ca5e04e7b2df9dc9f21e5cfe3e910204c905d8605f648ce6f6404432a83ae52a23a3&scene=178&cur_album_id=1638784435628064
MediaCodec android 录像
weixin_32476639的博客
07-16 165
Android MediaCodec 录像技术解析 在Android平台上，MediaCodec API 提供了一种高效的方式来处理音视频数据。它支持硬件加速，可以显著提高视频编码和解码的效率。本文将介绍如何使用MediaCodec API进行Android录像，并展示一些代码示例。 MediaCodec 简介 Media...
Android MediaCodec编码MediaPlayer视频
jake9602的专栏
03-09 5542
闲暇时间，做了一个Demo，用来网络传输视频内容。 通过MediaPlayer播放视频文件，将其内容渲染到MediaCodec，中间也可加入其他特效处理。 最后将MediaCodec的内容发送出去。 1、首先需要准备一个渲染线程，用来opengl 渲染 public class VideoRenderer extends Thread implements SurfaceTexture.OnFrameAvailableListener { private static fina..
Android MediaCodec
liuning1985622的博客
05-06 2064
MediaCodec是Android音视频中相当重要的一个API。MediaCodec类可以用于使用一些基本的多媒体编解码器（音视频编解码组件），它是Android基本的多媒体支持基础架构的一部分通常和 MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface, and AudioTrack 一起使用。广义而言，编解码器处理输入数据以生成输出数据。它异步处理数据并使用一组输入和输出缓冲区。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值