音视频多媒体协议相关资料汇总

未知问题：

• 编码，封装，协议的区别：
  如何将TS源流重新封装并通过P2P协议传输在安卓终端和苹果终端播放

• 封装

介绍完了视频编码后，再来介绍一些封装。沿用前面的比喻，封装可以理解为采用哪种货车去运输，也就是媒体的容器。

所谓容器，就是把编码器生成的多媒体内容（视频，音频，字幕，章节信息等）混合封装在一起的标准。容器使得不同多媒体内容同步播放变得很简单，而容器的另一个作用就是为多媒体内容提供索引，也就是说如果没有容器存在的话一部影片你只能从一开始看到最后，不能拖动进度条（当然这种情况下有的播放器会话比较长的时间临时创建索引），而且如果你不自己去手动另外载入音频就没有声音。

下面介绍几种常见的封装格式和优缺点：

• AVI 格式（后缀为 .avi）:
  它的英文全称为 Audio Video Interleaved ，即音频视频交错格式。它于 1992 年被 Microsoft 公司推出。这种视频格式的优点是图像质量好。由于无损 AVI 可以保存 alpha 通道，经常被我们使用。缺点太多，体积过于庞大，而且更加糟糕的是压缩标准不统一，最普遍的现象就是高版本 Windows 媒体播放器播放不了采用早期编码编辑的 AVI 格式视频，而低版本 Windows 媒体播放器又播放不了采用最新编码编辑的 AVI 格式视频，所以我们在进行一些 AVI 格式的视频播放时常会出现由于视频编码问题而造成的视频不能播放或即使能够播放，但存在不能调节播放进度和播放时只有声音没有图像等一些莫名其妙的问题。
• DV-AVI 格式（后缀为 .avi）:
  DV 的英文全称是 Digital Video Format ，是由索尼、松下、JVC 等多家厂商联合提出的一种家用数字视频格式。数字摄像机就是使用这种格式记录视频数据的。它可以通过电脑的 IEEE 1394 端口传输视频数据到电脑，也可以将电脑中编辑好的的视频数据回录到数码摄像机中。这种视频格式的文件扩展名也是 AVI。电视台采用录像带记录模拟信号，通过 EDIUS 由IEEE 1394端口采集卡从录像带中采集出来的视频就是这种格式。
• QuickTime File Format 格式（后缀为 .mov）:
  美国 Apple 公司开发的一种视频格式，默认的播放器是苹果的 QuickTime。具有较高的压缩比率和较完美的视频清晰度等特点，并可以保存 alpha 通道。
• MPEG 格式（文件后缀可以是 .mpg .mpeg .mpe .dat .vob .asf .3gp .mp4等) :
  它的英文全称为 Moving Picture Experts Group，即运动图像专家组格式，该专家组建于 1988 年，专门负责为 CD 建立视频和音频标准，而成员都是为视频、音频及系统领域的技术专家。MPEG 文件格式是运动图像压缩算法的国际标准。MPEG 格式目前有三个压缩标准，分别是 MPEG－1、MPEG－2、和 MPEG－4 。MPEG－1、MPEG－2 目前已经使用较少，着重介绍 MPEG－4，其制定于 1998 年，MPEG－4 是为了播放流式媒体的高质量视频而专门设计的，以求使用最少的数据获得最佳的图像质量。目前 MPEG-4 最有吸引力的地方在于它能够保存接近于 DVD 画质的小体积视频文件。
• WMV 格式（后缀为.wmv .asf）:
  它的英文全称为 Windows Media Video，也是微软推出的一种采用独立编码方式并且可以直接在网上实时观看视频节目的文件压缩格式。WMV 格式的主要优点包括：本地或网络回放,丰富的流间关系以及扩展性等。WMV 格式需要在网站上播放，需要安装 Windows Media Player（ 简称 WMP），很不方便，现在已经几乎没有网站采用了。
• Real Video 格式（后缀为 .rm .rmvb）:
  Real Networks 公司所制定的音频视频压缩规范称为Real Media。用户可以使用 RealPlayer 根据不同的网络传输速率制定出不同的压缩比率，从而实现在低速率的网络上进行影像数据实时传送和播放。RMVB 格式：这是一种由 RM 视频格式升级延伸出的新视频格式，当然性能上有很大的提升。RMVB 视频也是有着较明显的优势，一部大小为 700 MB 左右的 DVD 影片，如果将其转录成同样品质的 RMVB 格式，其个头最多也就 400 MB 左右。大家可能注意到了，以前在网络上下载电影和视频的时候，经常接触到 RMVB 格式，但是随着时代的发展这种格式被越来越多的更优秀的格式替代，著名的人人影视字幕组在 2013 年已经宣布不再压制 RMVB 格式视频。
• Flash Video 格式（后缀为 .flv）:
  由 Adobe Flash 延伸出来的的一种流行网络视频封装格式。随着视频网站的丰富，这个格式已经非常普及。
• Matroska 格式（后缀为 .mkv）:
  是一种新的多媒体封装格式，这个封装格式可把多种不同编码的视频及 16 条或以上不同格式的音频和语言不同的字幕封装到一个 Matroska Media 档内。它也是其中一种开放源代码的多媒体封装格式。Matroska 同时还可以提供非常好的交互功能，而且比 MPEG 的方便、强大。
• MPEG2-TS 格式 (后缀为 .ts)（Transport Stream「传输流」，又称 MTS、TS）：
  是一种传输和存储包含音效、视频与通信协议各种数据的标准格式，用于数字电视广播系统，如 DVB、ATSC、IPTV 等等。MPEG2-TS 定义于 MPEG-2 第一部分，系统（即原来之 ISO/IEC 标准 13818-1 或 ITU-T Rec. H.222.0）。Media Player Classic、VLC 多媒体播放器等软件可以直接播放 MPEG-TS 文件。

目前，我们在流媒体传输，尤其是直播中主要采用的就是 FLV 和 MPEG2-TS 格式，分别用于 RTMP/HTTP-FLV 和 HLS 协议。

RTMP协议知识点：

• RTMP协议是封装的FLV视频在互联网中进行传输。
• RTMP协议基于tcp协议；而TCP协议实时性不如UDP，也非常占用带宽。目前基于UDP的RTMFP协议能很好的解决这些问题。

RTMP vs HLS vs HTTP FLV：

• RTMP：Adobe公司的流媒体传输协议，端口号1935普通网络用户均可使用，包括非IOS平台用户，对非80端口（如1935）无限制的网络环境用户。优点：防HTTP下载，延时短。
  HLS：IOS平台下的流媒体传输协议 ，端口号80优点：H5浏览器支持比较好，IOS，安卓原生支持。缺点：延迟性比较大。楼上说的切片，关键帧改变后切片时间可以缩短，而且可以自己设定首次产生多少分片。
  HTTP FLV：是一种将直播流模拟成FLV文件，通过HTTP协议进行下载的模式来实现流媒体传输的协议，端口号80 一般建议使用HTTP FLV，实时性和RTMP相等。优点：HTTP相比于RTMP省去了一些协议交互时间，首屏时间更短。HTTP可拓展的功能更多。
  作者：世界与你同在
  链接：https://www.zhihu.com/question/47504661/answer/117559809
  来源：知乎
  著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
• HLS：移动h5浏览器支持较好，但是延迟较大。移动端播放前需要产生三个分片，每个分片至少得是一个GOP。一个GOP即使是2秒，也意味着这个环节耗费了6秒的延时。
  RTMP：需要访问1935端口，支持双向互动，实时性很好，PC flash原生支持。
  HTTP-FLV：不支持双向互动，实时性和RTMP协议一致。我们目前用的是HTTP-FLV作为拉流协议。原因如下：1， 国内网络情况的恶劣程度，并不是每个网络防火墙都允许1935包通过。2，RTMP协议和HTTP-FLV，实际传输的内容都是相同的FLV，实时性也一样。3，RTMP协议握手方式比HTTP复杂。
  作者：ksy-codefarmer
  链接：https://www.zhihu.com/question/47504661/answer/106441080
  来源：知乎
  著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

• RTP&RTCP基于UDP协议。
• RTSP可选择TCP/UDP协议。
• RTMP基于TCP协议。
• 什么是GOP？就是视频流中两个I帧的时间距离。
• 理论上RTSP RTMP HTTP都可以做直播和点播，但一般做直播用RTSP RTMP，做点播用HTTP。做视频会议的时候原来用SIP协议，现在基本上被RTMP协议取代了。

RTMP特点：

• Adobe支持得很好：
  RTMP实际上是现在编码器输出的工业标准协议，基本上所有的编码器（摄像头之类）都支持RTMP输出。
  原因在于PC市场巨大，PC主要是Windows，Windows的浏览器基本上都支持flash，
  Flash又支持RTMP支持得非常好。
• 适合长时间播放：
  因为RTMP支持的很完善，所以能做到flash播放RTMP流长时间不断流，
  当时测试是100万秒，即10天多可以连续播放。
  对于商用流媒体应用，客户端的稳定性当然也是必须的，否则最终用户看不了还怎么玩？
  我就知道有个教育客户，最初使用播放器播放http流，需要播放不同的文件，结果就总出问题，
  如果换成服务器端将不同的文件转换成RTMP流，客户端就可以一直播放；
  该客户走RTMP方案后，经过CDN分发，没听说客户端出问题了。
• 延迟较低：
  比起YY的那种UDP私有协议，RTMP算延迟大的（延迟在1-3秒），
  比起HTTP流的延时（一般在10秒以上）RTMP算低延时。
  一般的直播应用，只要不是电话类对话的那种要求，RTMP延迟是可以接受的。
  在一般的视频会议应用中，RTMP延时也能接受，原因是别人在说话的时候我们一般在听，
  实际上1秒延时没有关系，我们也要思考（话说有些人的CPU处理速度还没有这么快）。
• 有累积延迟：
  技术一定要知道弱点，RTMP有个弱点就是累积误差，原因是RTMP基于TCP不会丢包。
  所以当网络状态差时，服务器会将包缓存起来，导致累积的延迟；
  待网络状况好了，就一起发给客户端。
  这个的对策就是，当客户端的缓冲区很大，就断开重连。

HTTP协议/RTSP协议/RTMP协议的区别