Netflix的视频算法主管Anne Aaron撰文对视频编解码的未来发展方向，基于块的混合编码，画质评定新方法，以及创新思维。LiveVideoStack对本文进行了摘译。
文 / Anne Aaron, Jan De Cock
译 / 金歌
在《IEEE Signal Processing》杂志2006年11月发表的“视频编码与传输的未来”（https://ieeexplore.ieee.org/document/4015574/）一文中，Edward Delp教授在大会一开始便向其他与会嘉宾询问道：“视频编码已经走到尽头了么？有人认为，随着编码效率较高的H.264/MPEG-4技术的出现……也许（视频编码）没有更多提升与改进的空间了。不得不说，自我1976年开始从事图像与视频编码工作以来，我已经听说过不下四次‘压缩技术已死’这样的言论了。”
虽然早在四十多年以前，人们便曾提出过“视频编码已死”的假设，然而在2018年的今天，我们有幸在此（旧金山）齐聚一堂，召开第33届图像编码会议（PCS）。（http://www.pcs2018.com/）
图像和视频编码是否真的已死了呢？从相关应用程序的角度来看，视频压缩技术目前仍然生机勃勃，在互联网领域蓬勃发展着。Cisco在2017年6月发布的名为“泽字节时代：趋势与分析”的白皮书中提到，2016年IP视频流量占总IP流量的73％。据估计，到2021年这一数字将攀升至82％。Sandvine在2016年6月发布的“全球互联网现象报告”中指出，在北美固定接入网络的下载高峰期，以下四种VOD服务（视频点播）占据着60%的数据流量：Netflix，YouTube，Amazon Video和Hulu。Ericsson在2017年11月发布的“移动市场报告”中估计，视频应用占据了2017年总移动数据流量的55％，预计到2023年这一比例将提升至75％。
而从工业界参与视频编码研究这方面来看，这一领域甚至比以往任何一个时期都更加活跃。 2015年，众顶尖科技公司成立了开放媒体联盟（AOM），旨在合作开发免版税的视频编码器。AOM的目标是开发一种高效、高性价比、高质量和可互操作的视频编码技术，其成果AV1编码器将于今年内推出。2017年10月，来自ITU-T VCEG团队和ISO/IEC MPEG团队的专家们组成了联合视频专家组（JVET），旨在开发具有超越HEVC功能的新视频标准。他们于近日结束的建议书征集活动吸引了多达32家来自工业界和学术界的机构，总计收到了22份建议书。预计JVET将于2020年10月推出新的视频编码标准——通用视频编码标准（VVC，Versatile Video Coding）。
与许多全球互联网公司一样，Netflix也意识到推动视频编码技术进步对于提升视频观看体验是至关重要的。一方面，许多人受限于不可靠的网络或有限的数据套餐，制约了当今先进技术所能够提供的最佳视频质量。另一方面，4K UHD、360度视频和VR等高级视频体验的数据量非常庞大。这些沉浸式视频技术的普及应用将有赖于视频压缩增益的提高。
那么，我们如何才能为菲律宾农村地区的移动用户在100kbps的带宽下提供高清版《怪奇物语》呢？我们又如何在无需25Mbps宽带的情况下传输一集非常清晰的4K HDR WCG（宽色域技术）版《主厨的餐桌》呢？颠覆性的全新想法亟待更多深入的协同与合作，还有像PCS 2018这种供我们分享、学习和反思的平台。
受到我们Netflix的产品角色、与标准化团体和工业界合作伙伴的接触、以及与学术机构研究合作的影响，我们想要分享一下Netflix对于视频编码研究现状的一些疑问与思考。在我们着手安排PCS 2018特别会议、主题演讲和特邀报告等活动时，这些想法在不断激励着我们。
用创新来超越（传统）基于块的混合编码
MPEG-2，VC1，H.263，H.264/AVC，H.265/HEVC，VP9，AV1——所有这些标准都建立在基于块的混合视频编码结构上。也曾有人试图摆脱这种传统模式，但均以失败告终。某些技术貌似脱离了传统模式（比如分布式视频编码），然而却不适合在实际中普遍应用。在多数其他情况下，人们并没有投入足够的资源推动新技术的成熟。不幸的是，新技术是根据目前已有的最先进的编码器进行评估的，其编码工具已历经了数十年的研究提炼。于是人们很容易就会认为新技术“不成气候”，从而放弃继续对其进行深入研究。我们是否因为拒绝给新技术成长的机会，而错失了更好、更高效的技术了呢？如果我们仅仅停留在前人铺设好的道路上，固守于传统的编码工具，我们还有可能消除更多的冗余比特？
业界急需寻找更好的衡量视频质量的方法
在发表学术著作、进行标准化活动，以及业界评估编码器时，PSNR仍然是衡量编码性能的黄金准则。然而，每个视频编码领域的人都说，PSNR并不能准确反映人类对于视频质量的感受。诸如自适应量化和心理视觉优化这类编码工具，虽纷纷声称能够提高视觉质量，但在PSNR方面的表现却不尽如人意。所以研究人员和工程师们花费了大量人力进行主观视觉测试，以增加客观测量数据。虽然这种评估方法已经延续使用了几十年，但却并不适用于大规模的评估，特别是当测试集所涵盖的视频内容繁多而质量范围又很广时。为了使视频编码行业能更快更准地进行创新，人们应当利用更能反映人类感知的自动视频质量评估技术。这些新的评估标准必须得到业内广泛的认同和采纳，因此有必要进行开放性的独立验证。在未解决自动视频质量评估这一难题的情况下，我们是否有自信能继续推进视频编码技术的发展呢？
创新想法的迸溅需要集思广益
我（Anna）三年前第一次参加MPEG会议，会上我展示了一篇有关Netflix未来视频编码用例的报告。我声称对于Netflix应用程序来说，如果能使压缩效果显着提高，那么以增加编码复杂度为代价也没有关系。我们的程序使用云计算，并且不要求实时性。大会主席问我：“复杂度增加多少是你可接受的范围呢？”我之前并没有准备过这个问题，所以脑子里大致估计了一个上限，说“在最坏的情况下是100倍”。在场的一百多名视频标准化专家全都大笑起来。我很困惑地看着主席。他说：“别担心，他们笑只是因为很高兴能尝试新鲜事物。通常大家会说3倍（而不是100倍）。”虽然我们都沉浸在视频编码的世界中，但我的观点让却他们感到惊讶，反之亦然。
当今的视频编码行业由学术界的研究组织、视频标准化机构、实现视频编码技术的公司以及部署视频服务的娱乐公司组成。我们怎样才能促进更多的思想交流，合同协作，同舟共济呢？
PCS 2018——构建沟通融合的桥梁
为了消除更多人脸上的迷茫与困惑，为了能迎来更多惊喜的时刻，我们为PCS 2018安排了一系列“沟通融合”会议。这些会谈和小组讨论旨在增进PCS学术研究人员与工业界相关领域的连结。
正如CVPR与CLIC研讨会上所展示的那样，计算机视觉和机器学习领域的研究人员很激动能将这些新技术应用于图像压缩领域。JohannesBallé将为大家介绍新兴的习得型图像压缩技术，并总结CVPR与CLIC研讨会的结果。
来自ITU-T VCEG和ISO/IEC MPEG团队的视频专家们正在积极研究下一代标准VVC。本次大会的联合主席Gary J. Sullivan和Jens-Rainer Ohm教授将对研究结果进行总结，以鼓励学术界研究人员与工业界潜在用户们的积极反馈和参与。
为了解决视频编码技术领域的学术研究人员、标准化研究人员以及工业界用户之间的脱节，我们邀请了多位活跃于大规模视频编码技术领域的工程带头人——来自Facebook的Michael Coward，来自Twitter的Mark Kalman，与来自YouTube的Balu Adsumilli。他们将在专题讨论会上和我们分享他们在VOD和实时视频流媒体服务的大规模编码方面的想法和经验。
为了解决当今视频压缩技术领域的一些关键问题，我们还安排了与“图像视频压缩领域的机器学习技术”、“评估图像视频质量的工业应用”，以及“VR视频内容的准备与压缩技术”相关的特别会议。此外，来自麻省理工学院的Vivienne Sze教授、来自德克萨斯大学奥斯汀分校的Al Bovik教授，以及来自纽约大学的姚耀教授还将为我们带来精彩的主题演讲。
LiveVideoStackCon 2018讲师招募
LiveVideoStackCon 2018是音视频技术领域的综合技术大会，今年是在10月19-20日在北京举行。大会共设立18个专题，预计邀请超过80位技术专家。如果你在某一领域独当一面，欢迎申请成为LiveVideoStackCon 2018的讲师，让你的经验帮到更多人，你可以通过speaker@livevideostack.com提交演讲信息。了解大会更多详情，点击【阅读原文】访问LiveVideoStackCon 2018官网，报名即刻享受7折优惠。
