P12 音视频复合流——TS流讲解
?前言?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
从本章开始我们将要学习嵌入式音视频的学习了 ,使用的瑞芯微的开发板
🎬 个人主页:@ChenPi
🐻推荐专栏1: 《C++_@ChenPi的博客-CSDN博客》????
🔥 推荐专栏2: 《Linux C应用编程(概念类)_@ChenPi的博客-CSDN博客》???
🛸推荐专栏3:《嵌入式音视频_@ChenPi的博客-CSDN博客》
🌺本篇简介 ?:本章讲解音视频中的复合流——ts流
?01 什么是复合流
复合流是指在一条音视频数据流中同时包含视频ES和音频ES数据。
常见的复合流一般为TS流,MP4流,FLV流
02 TS流的介绍
TS流:英文全称为Transport Stream(传输流)。它由MPEG公司推出的全新MPEG2的压缩标准,TS流的出现是为了让音视频的实时交互更加方便,并且随着数字电视的发展,TS流数据在电视领域,网络音视频领域也有很大作用。
03 TS流的格式
TS流的格式大概分为三层,它分别为Transport Stream层,Packet Element Stream层,Element Stream层。
??
- es层就是音视频数据
- pes层是在音视频数据上加了时间戳等对数据帧的说明信息
- ts层就是在pes层加入数据流的识别和传输必须的信息
04 Transport Stream层讲解
Transport Stream层主要有三个部分组成,TS Header ,ADaption Field,TS Payload
- TS Header:TS Header为头部
- ADaptation Field:可能存在也可能不存在,主要作用是给不足188字节的数据做填充
- TS payload:pes数据
TS Header头部信息(四字节)?
就是4个Bit
?ts层的内容是通过PID值来标识的,主要内容包括:PAT表、PMT表、音频流、视频流。
解析ts流要先找到PAT表,只要找到PAT就可以找到PMT,然后就可以找到音视频流了。
PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流,因为用户随时可能加入ts流,这个间隔比较小,通常每隔几个视频帧就要加入PAT和PMT。
PAT和PMT表是必须的,还可以加入其它表如SDT(业务描述表)等,不过ts流只要有PAT和PMT就可以播放了。
PAT表:他主要的作用就是指明了PMT表的PID值。
PMT表:他主要的作用就是指明了音视频流的PID值。
音频流/视频流:承载音视频内容。
ADaption Field
四BIT后就是自适应区
DTS、PTS 的概念如下所述:?
- DTS(Decoding Time Stamp):即解码时间戳,这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。
- PTS(Presentation Time Stamp):即显示时间戳,这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。
Adaptional?Field?Length指的是自适应长度,它主要包含传输错误标识符的字节。
PCR是节目时钟参考表,PCR的PTS和DTS都是对同一个系统时间进行采样,PCR的值是逐渐递增的。在对TS流打包的时候,PAT表和PMT表是没有Adaptional Field,若长度不够则使用0xff.
4.1 PAT表(定义了当前TS流中的所有节目、要查询节目必须从PAT表开始)
4.2 PMT表格(查询当前节目中所有的PID信息,比方说包含多少个VIDEO、AUDIO):
??
05 PES (Packet Element Stream)
PES层的结构是包含在TS层PAYLOAD里面的,PES层的主要功能是在每一帧音视频数据帧添加时间戳内容。比方说在用FFPLAY或者VLC播放TS文件的时候,会出现关于PTS、DTS的数据,这就是PES层的作用。
??
以下是比较常用的?PES包信息
???
?pts是显示时间戳、dts是解码时间戳,视频数据两种时间戳都需要,音频数据的pts和dts相同,所以只需要pts。有pts和dts两种时间戳是B帧引起的,I帧和P帧的pts等于dts。如果一个视频没有B帧,则pts永远和dts相同。从文件中顺序读取视频帧,取出的帧顺序和dts顺序相同。dts算法比较简单,初始值 + 增量即可,pts计算比较复杂,需要在dts的基础上加偏移量。
音频的pes中只有pts(同dts),视频的I、P帧两种时间戳都要有,视频B帧只要pts(同dts)。
打包pts和dts就需要知道视频帧类型,但是通过容器格式我们是无法判断帧类型的,必须解析h.264内容才可以获取帧类型。
06? ES层结构:
ES数据流就是我们常说的裸流数据,这其中就包括视频裸流数据(H264/HEVC)、音频裸流数据(AAC)。可以看主页前几章得文章
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!