安妮(Anne Aaron)暂时不用担心失业。她带领的网飞编码团队正试图克服体育直播和云游戏。前者是传统电视产业的最后堡垒,后者是巨大游戏帝国的未来。
对于流媒体行业来说,视频编码是所有业务的基石——如何在带宽有限的情况下获得稳定的视频流,安妮编码团队花了13年时间来解决这个问题,不仅试图减少4K流媒体带宽的一半,而且推动网络飞行成为该领域的技术先驱。
最基本的编码方法是为目标用户带宽条件提供自适应码流,从最低级别的240p@235Kbps码流到720p@1.75Mbps再到1080p@5.8Mbps,内容服务器将根据每个用户的设备和带宽条件动态调整图像代码率。
但这仍然不完美。儿童动画片和充满烟雾和闪光的动作片对代码率的需求不同。纯动画片只需保持最低代码率,就能提供良好的画面质量:
因此,自2015年以来,网飞对每一部作品进行了重新编码,1080p格式动画的代码率降至1.5Mbps,可以为公司节省20%的带宽,但芭比梦幻屋的出现让公司跌跌撞撞。
“现场有布灵布灵的服装,背景有闪亮的喷泉”,适应动画片的低码率格式在这个场景中翻车。安妮意识到按照电影类型设置码率不够完善,公司有必要重新设置场景的码流。因此,2018年,网飞开始根据画面的复杂性为视频流设置算法和代码率:两人在白墙前交谈的场景适用于低代码视频流;两人高速追逐必须使用高代码率;芭比在家玩耍的代码流量规模与布灵布灵户外场景非常不同。
随着4K和HDR的逐渐普及,代码率差异对图像质量的影响更加明显。例如,王冠中烟雾弥漫的场景是编码器的噩梦。这些挑战影响了安妮的日常生活。当她走路时,她会考虑这些问题。当她拿起装满水钻的手机壳时,她会想到芭比梦幻屋里的喷泉,甚至她的孩子也会指着某样东西大喊:“有马赛克!”
网飞通过训练人工智能分析视频场景并匹配码流。这种与南加州大学合作开发的视频质量评价算法开源后被业界广泛采用,并为网飞赢得了2021年工程与技术艾美奖(左为李志,右为安妮,两人均在斯坦福大学获得博士学位)。
安妮领导的团队并没有停止,网飞将60%的图书馆重新编码为AV1格式,下一代编码格式正在酝酿之中。安妮声称,与AV1相比,新格式可以在保持相同视频质量的前提下进一步节省30%的带宽费用,并为此拍摄了12分钟的4K HDR短片测试:风扇下布满灰尘的办公室,布满波光粼粼的海滩,对比度高的黑暗梦想……每个场景都精心设计了视频编码算法的各种挑战。
网飞的野心并不局限于此,它最近赢得了NFL和WWE的转播权,同时还开展了游戏业务,以加强客户的粘性。“云游戏可以被视为一种特殊形式的直播节目”,安妮说,由于游戏图片在云中渲染,而不是本地生成,延迟要求比体育直播更严格。在分析每个镜头并设置编码算法和编码流之前,因为直播图片是不可预测的。
如果我们把目光放得更远,人们最终将迎来8K时代,视频编码领域将再次面临重大挑战。“20年前,人们声称视频编码领域已经耗尽了所有的路径,但我认为这个领域仍然有很大的前景”,安妮在接受加州洛斯加托斯办公室采访时表示,她对视频编码的未来充满希望。
[本文结尾]如需转载,请务必注明出处:新书
责任编辑:Zhengogo
文章内容报告
还没有评论,来说两句吧...