从播放流程到技术演进一文读懂音视频编解码与封装格式文档时间2026-03本文系统梳理音视频编解码与封装格式的核心知识从播放流程与基础概念到编码原理、封装格式、技术演进史并补充编解码器与容器的对应关系、常见问题排查与行业应用便于选型与排错。目录一、基础概念编码、封装与播放流程二、关键指标与色彩空间三、视频编码核心技术原理四、封装格式的作用与分类五、技术基石从图像压缩到视频编码六、早期探索十、现代格局十一、实战常见问题与行业应用十二、封装格式与关联编码详解总结与延伸阅读一、基础概念编码、封装与播放流程1. 核心概念辨析概念说明编码 (Codec)压缩与还原的算法将原始音视频通过算法如 DCT、帧间预测去除冗余转化为更小的压缩数据。常见视频编码H.264、H.265音频AAC、MP3。封装格式 (容器)按规范将编码后的视频、音频、字幕、元数据等打包成完整文件或流如 MP4、MKV、FLV。转码将音视频从一种编码或参数转换为另一种例如高码率 H.264 转为低码率 H.265。2. 视频播放四步法播放网络视频主要包含以下四步网络流解协议解封装本地文件解码视音频同步声卡/显卡输出网络播放经解协议再解封装本地播放直接解封装无解协议。步骤说明示例解协议剥离流媒体协议中的控制信令保留音视频数据RTMP → FLVHTTP/HLS → 数据块解封装从容器中分离出压缩的视频码流和音频码流FLV → H.264 AAC解码将压缩数据还原为原始数据视频H.264 → YUV/RGB音频AAC → PCM视音频同步依据时间戳PTS/DTS确保音画同步后输出到声卡、显卡—PTS 与 DTSPTSPresentation Time Stamp为显示时间戳决定何时把帧显示给用户DTSDecoding Time Stamp为解码时间戳决定解码顺序。存在 B 帧时解码顺序与显示顺序不一致需先解码后面的参考帧因此 DTS 与 PTS 可能不同。说明本地播放无需「解协议」直接从文件读封装数据即可。二、关键指标与色彩空间1. 视频指标指标说明帧与帧率 (FPS)帧为单张画面帧率为每秒显示帧数。24/30fps 为流畅基准60fps 体验更佳。分辨率图像像素尺寸如 1920×1080。码率 (比特率)单位时间内传输的数据量 (bps/kbps)直接影响画质和文件体积。2. 音频指标指标说明采样率每秒采样次数 (Hz)如 CD 音质 44.1kHz。采样位数每采样点精度如 16bit。声道数单声道、立体声(2)、5.1/7.1 等。3. 色彩空间色彩空间说明RGB红绿蓝加色模型用于显示器等发光设备。YUV亮度(Y)与色度(U,V)分离更符合人眼特性是视频编码与传输的主流格式。常见色度采样4:2:0色度宽高各减半最省带宽视频编码常用、4:2:2、4:4:4无下采样画质最高。三、视频编码核心技术原理1. 压缩类型有损压缩舍弃人眼/耳不敏感的信息以大幅减小体积如 MP3、AAC、H.264。无损压缩可完全还原原始数据如 FLAC、WAV压缩率有限。2. 帧内与帧间压缩类型说明帧内压缩仅利用单帧内部空间冗余类似图片压缩。帧间压缩利用相邻帧之间的时间冗余压缩率更高是视频高压缩的关键。3. I/P/B 帧类型说明I 帧 (关键帧)独立完整可单独解码随机访问与拖拽的起点数据量最大。P 帧 (预测帧)只存与前一帧的差异需参考前帧解码。B 帧 (双向预测帧)存与前后帧的差异压缩率最高解码最复杂。I/P/B 帧与 GOP 关系示意显示顺序: I B B P B B P I ... 解码顺序: I P B B P B B I ... B 依赖后续 P/I故解码晚于 P ↑___________________________↑ 一个 GOPGOP 与关键帧间隔GOPGroup of Pictures指相邻两个 I 帧之间的帧集合。GOP 越大压缩率越高但拖拽进度条时需从更远的 I 帧开始解码缓冲时间更长直播场景常采用较小 GOP 以降低延迟。4. 对称与非对称编码类型特点适用场景对称编码编解码复杂度与耗时相近视频通话、会议等实时通信非对称编码编码远复杂于解码点播、直播等一次编码、多次解码的内容分发四、封装格式的作用与分类1. 封装格式的作用将视频、音频、字幕等按结构打包。提供时间戳与同步、随机访问快进/快退、元数据存储、多音轨/多字幕轨管理。2. 常见封装格式概览类型格式典型用途存储型MP4、MKV、AVI、MOV、OGG文件存储、编辑、分发流媒体型FLV、TS (MPEG-TS)直播、HLS/DASH 等流式传输MP4 通用性最强FLV 曾广泛用于直播TS 常用于 HLS 流。流媒体协议与常见封装对应协议/场景常见封装或数据形态说明HTTP 渐进下载MP4边下边播兼容性好HLSTS 切片 (m3u8 .ts)苹果主导自适应码率DASHMP4 或 TS 切片自适应码率多厂商RTMPFLV低延迟直播Flash 时代主流WebRTC通常不涉及文件封装实时 RTP 等编码 → 容器 → 协议/文件 层级示意原始 YUV/PCM │ ▼ 编码 (Codec) H.264 / AAC 等码流 │ ▼ 封装 (Container) MP4 / FLV / TS 等文件或流 │ ▼ 传输 (Protocol) HTTP / RTMP / HLS 等3. 编解码器与容器的常见组合场景推荐组合兼容性优先短视频、大众传播MP4 H.264 AAC高质量存储电影库、收藏MKV H.265/AV1 FLAC/DTS专业编辑MOV ProRes自适应流媒体直播、点播TS H.264/H.265 AAC五、技术基石从图像压缩到视频编码JPEG 与 DCT (1974 年)Nasir Ahmed 提出离散余弦变换 (DCT)将图像分块从空间域转到频率域丢弃人眼不敏感的高频信息以实现压缩。这成为 JPEG (1992) 的基石其「变换量化」思想也成为后续视频编码的核心。六十、编码与封装发展史六、早期探索标准说明H.120 (1984)首个数字视频编码标准算法原始未普及。H.261 (1990)首次引入 DCT 与运动补偿奠定现代视频编码框架主要用于视频会议。七、桌面时代封装格式兴起格式说明QuickTime/MOV (1991)苹果推出首创时间基与多轨道模型为 MP4 等现代容器提供雏形。AVI (1992)微软推出交错存储成为 Windows 上早期广泛应用的视频格式。八、标准化时代MPEG 与数字电视标准说明MPEG-1 (1993)首个完整音视频压缩标准运动补偿DCT是 VCD 的编码格式。MPEG-2/H.262 (1994)支持更高分辨率与隔行扫描成为 DVD 与数字电视 (DVB、ATSC) 的核心。九、流媒体崛起技术说明RealMedia (RM/RMVB)RealNetworks 推出可变比特率在拨号/窄带时代于国内等地广泛流行。DivX/Xvid源于 MPEG-4 的破解与优化能将 DVD 压至一张 CD推动 MPEG-4 普及。十、现代格局标准说明H.264/AVC同等画质下较 MPEG-2 约省 50% 码率过去十余年事实标准用于网络视频、蓝光、移动端等。H.265/HEVC较 H.264 再省约 50% 码率专利政策复杂。AV1开源免专利费压缩效率与 HEVC 相当或更优被多家流媒体采用。H.266/VVC新一代国际标准目标再省约 50% 码率面向 8K 与沉浸式媒体。十一、实战常见问题与行业应用能否播放的“三要素”某个文件或流能否在某个设备/播放器上正常播放取决于三点——① 容器格式是否被支持如 MP4、FLV、② 音视频编码是否被支持如 H.264、AAC、③ 播放器/系统是否具备对应解码器软解或硬解。三者缺一不可因此会出现「同一文件在 VLC 能播、系统自带播放器不能播」等现象。1. 常见问题与排查思路问题可能原因与思路VLC 能播系统自带播放器卡或无法播放系统缺少对应解码器VLC 内置多种解码器可尝试安装系统解码包或换播放器。拖动进度条要缓冲很久拖到的位置可能是 P/B 帧播放器需从最近 I 帧GOP 起点开始解码到该位置导致缓冲时间变长GOP 越大拖拽体验越差。4K 视频在手机上很烫、耗电多为软解若芯片支持应开启硬解硬件解码以降低功耗与发热。2. 行业应用与技术选型场景常见选型原因短视频与直播H.264 AAC生态成熟硬解支持好延迟与兼容性最佳。长视频点播 (4K/高码率)H.265/AV1有限带宽下更高清节省 CDN 流量。专业制作与存档ProRes、DNxHR 等中间格式追求编辑时画质与性能而非最终体积最小。十二、封装格式与关联编码详解本节按格式说明其定位与常见编解码组合便于理解「为什么有的文件能播、有的不能播」结合十一的容器 编码 解码器三要素。1. MP4 (MPEG-4 Part 14)定位通用性最强、兼容性最好的存储与流媒体容器基于 QuickTime MOV 发展而来。常见视频编码H.264绝对主流、H.265、AV1、MPEG-4 Part 2。常见音频编码AAC主流、MP3、AC-3环绕声。2. MKV (Matroska)定位功能强大的开源容器支持多音轨、多字幕轨及新编码。常见视频编码H.265、VP9、AV1、H.264。常见音频编码FLAC、DTS、TrueHD、AAC、MP3。3. AVI定位老牌存储容器已不支持现代编码与流媒体逐渐淘汰。常见视频编码DivX、Xvid、MJPEG、早期 MPEG-4。常见音频编码MP3、PCM。4. FLV (Flash Video)定位为低延迟流媒体设计文件头小曾广泛用于直播与点播随 Flash 退场而式微。常见视频编码H.264唯一主流。常见音频编码AAC、MP3。5. TS (MPEG-TS)定位为网络传输容错设计固定长度包如 188 字节适合不稳定网络是 HLS 等的基础。常见视频编码H.264、H.265。常见音频编码AAC、MP3。6. MOV (QuickTime)定位苹果存储与专业制作容器与 MP4 同源专业编辑常用。常见视频编码ProRes、H.264、H.265。常见音频编码AAC、MP3、PCM。7. RM / RMVB (RealMedia)定位专为窄带流媒体设计可变比特率 (VBR)在拨号/ADSL 时代于国内等地非常流行。常见视频编码RV40 (RealVideo 9/10)、RV30 (RealVideo 8)。常见音频编码RA (RealAudio)。8. WebM定位面向开放 Web 的免费、开源容器与 HTML5 视频深度结合。常见视频编码VP8、VP9、AV1。常见音频编码Vorbis、Opus推荐。9. HEIF / HEIC定位高效图像/序列容器基于 HEVC可存单张图或连拍/短动画如 Live Photo。常见编码HEVC (H.265)。10. WAV定位经典无压缩音频容器内部为 PCM 数据体积大、保真度高常用于编辑与原始素材。常见编码PCM。封装格式与关联编码速查表封装格式主要用途常见视频编码常见音频编码MP4通用、网络、移动端H.264, H.265, AV1, MPEG-4AAC, MP3, AC-3MKV高清电影、收藏H.265, VP9, AV1, H.264FLAC, DTS, AAC, MP3AVI传统/老旧基本淘汰DivX, Xvid, MJPEGMP3, PCMFLV历史流媒体 (Flash 时代)H.264AAC, MP3TS现代流媒体 (HLS, DVB)H.264, H.265AAC, MP3MOV专业制作 (Apple 生态)ProRes, H.264, H.265AAC, MP3, PCMRMVB经典流媒体 (窄带时代)RV40 (RealVideo 9/10)RA (RealAudio)WebM开源 Web 视频VP9, AV1, VP8Opus, VorbisHEIC高效图像 (如 iOS 照片)HEVC (H.265)N/AWAV无损音频、编辑/原始N/APCM总结与延伸阅读音视频技术围绕「在有限信道与存储下传递尽可能好的视听体验」不断演进从 DCT 与 JPEG到 H.264 的工程化再到 AV1 等开源与新一代标准编解码与封装格式共同支撑了从点播、直播到专业制作的全场景。延伸阅读H.264/HEVC 白皮书与标准文档FFmpeg 官方文档转码、封装与流媒体各平台硬解/软解与容器支持说明浏览器、移动端、播放器