8月19日,NVIDIA应邀参加了第二十九届北京国际广播电影电视展览会(BIRTV 2020)线上展,并携众多合作伙伴与媒体分享了NVIDIA GPU和网络在广播电视行业的应用和案例。
(赵法彬/数字通信世界)8月19日,NVIDIA应邀参加了第二十九届北京国际广播电影电视展览会(BIRTV 2020)线上展,并携众多合作伙伴与媒体分享了NVIDIA GPU和网络在广播电视行业的应用和案例。NVIDIA介绍并演示了其在广播电视行业的产品和解决方案,包括NVIDIA Turing架构的Quadro RTX GPU和RTX平台让实时8K录制变为现实,基于深度学习方法的NVIDIA NGX SDK让开发者能够轻松将AI功能集成到应用程序当中,以及NVIDIA RTX 服务器能够实现实时离线渲染、加速桌面渲染以及提供虚拟工作站性能。
NVIDIA专业可视化亚太区业务主管沈威在致辞中说,在今年的疫情影响下,居家隔离的人们对于广电的内容需求日益增长,并且对节目质量的要求愈发严苛。此外,5G的全面商用以及大数据、人工智能等技术的大范围推行,都将重新定义并塑造整个广电行业,这就对技术(无论是硬件、软件层面)都带来了全新的挑战。NVIDIA在计算机图形和人工智能领域已经有很成熟的技术,并且通过与国内外行业领导者进行合作,在广电传播领域有着很多落地的实际应用。在技术方面,我们不仅有基于NVIDIA Turing架构的RTX GPU及平台,还有可实现实时渲染、加速桌面渲染及提供虚拟工作站性能的NVIDIA RTX服务器等。
如何提供更高质量且更丰富的内容
NVIDIA中国区高级技术市场经理施澄秋介绍说,NVIDIA是全世界视觉运算行业的领袖也是GPU发明者,拥有非常广泛的受众及众多的专家与研究人员关注与预测广电行业的发展趋势。可以预见,未来无论是娱乐装置还是信号接收设备,以往整个受制于互联网的瓶颈都已经被打破,我们如何能够给用户提供更丰富、质量更高的内容,这是供给方在相当长的可预见未来所面临的挑战。用户不仅需要更方便、更易于获得的高质量内容,而且还需要更好的互动形式。借助全新NVIDIA RTX产品和我们所有合作伙伴提供的一整套全新工作流程之后,可以发现有很多不同阶段的参与人员可以实时互动。他们甚至可以在工作流里面发表意见、提出自己的想法,或者立即反馈回到前端的美工人员、建模人员或者2D材质人员,他们可以做一个完整的实时互动,大大减少了广电行业从业人员的时间成本,也大幅度降低了物料成本及制作成本。
我们今天看到好莱坞非常多20世纪六七十年代、乃至三四十年代的片子、胶片版的片子,可能连1080P都达不到,都可以在今天把它拿来重做。甚至是一个黑白电影重新利用AI的方式上彩、上色,然后再通过数字化做到1080P甚至4K,今后很可能还能做到8K,重新发行蓝光牒甚至更高清晰度的内容。这些奥斯卡获奖影片都用了数字的方式,要么上色变成彩色,要么变成高分辨率数字化,便于今天线上点播和传播,这个趋势可能会帮助我们丰富已有的内容。施澄秋表示,这就要利用NVIDIA的产品与技术才可以完成或者说才可以实现上述功能。NVIDIA有一个叫NGX的技术,是利用深度神经网络的人工智能学习来使用NVIDIA GPU。事先对NVIDIA GPU训练好的许多深度神经网络可以自动完成一些画面的修补、美化和降噪。可以利用NVIDIA NGX来做“残缺像素”自动生成和自动补充,把画面重塑出栩栩如生的效果,也就是我们俗称的“无中生有”的技术。NVIDIA甚至可以帮助一些艺术家生成许多原本需要枯燥的创作才能完成的内容。因为受制于当时胶片底片拍摄的摄影机导致像素质量并不符合当前8K的要求,以前可能需要非常昂贵的硬件,而且需要较长、甚至说非常长的制作周期。那么,利用NVIDIA的NGX AI可以帮它做SUPER-RES(超级分辨率),之后就可以让画面的清晰度、位度都增加了很多。
NVIDIA GPU在传统的3D建模、3D图形图像电视广电素材的片源制作中也有非常震憾、非常强大的效果。很多的旧影片以及传统广电行业人员拍摄的素材都是横板的素材,可是今天的移动端、智能手机用户看的是竖板的素材,所以面临的问题是素材如何迅速转化为移动端适用的内容。ADOBE SENSEI可以自动切割画面切割,变成适合于竖屏移动端用户看的内容,节约了人力和物力。AUTODESK FLAME也是用自动的方式做人物的面部动作,自动构建人类脸部映射。施澄秋说,无论是利用SLOMO、智能面部追踪、面部移除,还是超高分辨率以及4K、6K、8K的制作,都需要强大的NVIDIA GPU。因为随着内容的增加,CPU、GPU、电脑、存储和网络带来的挑战将呈几何爆炸增长。尤其是基础的IT设施把这些内容推送到用户端的时候,所带来的挑战是前所未有的,是不能用正常几何的方式去呈现的。8K可以用一个摄像机模拟多个机位,用8K摄像机把这个8K流推送到导播台,导播再可以切割成16个1080P的内容。无论是特写机位、面部机位等都可以用一个8K摄像机来模拟,这个时候就可以看到我们如何去实时保存、推流并且做后处理,乃至于在8K技术上叠加AI SLOMO、降噪甚至更高级别的基于AI的3D虚拟人物的植入、叠加,这个时候就依赖于NVIDIA GPU和技术,当然也依赖NVIDIA非常多的软硬件叠加,能够让用户看到无论在任何时候都可以看到非常逼真、画面清晰、符合传统广电意义上要播出质量需求的内容,而且还不妥协桢率。针对这些内容,我们无论是播出、编码还是解码,对于算力的需求是巨大的,从第一代到现在,NVIDIA GPU解码的功率是与生俱来的,经历了传统从早期功率到后来的1080P到现在8K原声分辨率的实时解码,RTX 6000G GPU可以做到符合每秒24桢的播出级质量实时解码。
施澄秋介绍说,NVIDIA一系列的产品都非常强大,我们有Turing架构的RTX 平台跟合作伙伴一起构建出完美的SDK提供给用户。我们的台式机RTX全系列从4000-8000,以及笔记本、数据中心的RTX SERVER,都可以非常方便部署给广电行业的技术人员,方便他们操作并利用NVIDIA全系列的技术。我们也有相应的虚拟图形工作站、虚拟的非编工作站的方式,用NVIDIA在云端无论是公有云还是私有云去部署相应产品,让用户在桌面使用NVIDIA Quadro RTX虚拟显卡或虚拟工作站,完成传统意义上需要物理存在的移动工作站或者是台式工作站才能完成的工作。总之,NVIDIA在整个Turing架构的部署相当全面,软硬件、SDK、台式机、笔记本、工作站、数据中心、Ecosystem里面的云端部署其实都是非常强大的。
如何轻松跨入超高清视频的IP时代
4K/8K超高清业务的兴起,整个传输带宽都在极剧的膨胀,传统的SDI视频传输方式遇到了自己的瓶颈。NVIDIA Mellanox 高级市场开发经理陈龙表示,如果按照原有的传输方式,为了想满足4K的传输带宽大概需要8G-9G,原有的3GSDI线要么以4根的方式传输达到12G的带宽,要么就换成12G的SDI传输方式,这两个都有自己的弊端。首先为了实现4K的传输,所使用的的传输线要是原来14倍,且组网复杂成本高昂。如果换成12GSDI,由于本身高速信号在SDI铜缆的传输里面的传输距离跟速率是成反比的,也就是说大概只有50米的传输距离,远远不能满足在广电行业里面视频传输的需要,这还没有谈到8K。如果是8K的话,最低会要求达到25G-30G的传输带宽,最高到140G的带宽,这已经不是SDI现有的传输方式能够解决的。因此,我们判断SDI转向IP是一个大概率事件。
如今,广电行业正处在SDI转IP的进程之中。由于4K/8K超高清技术的成熟,大带宽高质量的转发系统变得由于重要,高性能硬件成为迈向超高清视频的必经之路,NVIDIA Mellanox的Rivermax高清视频转发方案应运而生。陈龙认为,原有的SDI传输方式要转换成IP,就会导致IP这边传输到一个厚重的网络协议栈处理的问题。把传输的管道扩宽之后,终端的CPU处理这些协议栈的负载会大幅度的上升。我们MELLANOX基于在网卡行业传统的优势强项,可以做硬件卸载,把厚重的网络协议栈处理切换到网卡上来加速整个网络协议栈的处理,降低CPU的负载,把整个SDI转到IP化最后一公里的问题解决突破掉,轻松实现SDI转入到IP化的解决方案,同时又降低了CPU的功耗,降低了整个服务器的购置成本,大的降低了从SDI切换到IP的采购门槛。NVIDIA Mellanox网络的以太网和InfiniBand被广泛应用于服务器、存储和超融合基础设施等端到端的领域。
借助在高带宽场景多年的技术积累,Rivermax解决方案突破了软件视频方案的瓶颈,帮助客户跨过超高清传输的鸿沟。该方案的数据包步调可精确保证数据流速,释放视频数据流处理的潜能,且能大幅节约CPU资源。同时面向主流云应用,包括VMWare、Linux和Windows guest OS等等。陈龙说,Rivermax是软件解决方案主要解决的是SDI转IP化之后,如何用IP来满足SDI传输的标准问题,它具有以下特性:一是Packet Pacing,Packet Pacing是管道发送符合SDI的要求。因为有些场景服务器的数据码流出来要跟SDI设备对接,速率过大就没有办法进行实时的接收,所以需要Packet Pacing把整个发送的流量带宽满足设备的要求。二是Kernel Bypass,使得CPU处理网络协议栈大量的负载放在网卡进行,大幅度降低CPU负载。三是Frames,网卡会自动把每一行像素包接收完之后,整合成一张图画然后传输给CPU进行后期的处理,这一块的计算工作完全由网卡来完成,大幅降低CPU的使用率。四是“云化”,大幅增值服务器的价值,开拓未来的市场应用。
NVIDIA的合作伙伴强氧科技、博采传媒、新奥特、Epic Games等代表也在线与大家分享了各自的产品与方案。NVIDIA 始终致力于为用户提供非凡的图形和计算性能,为专业合作伙伴提供强大性能的GPU和RTX技术,助力高质量的内容制作,满足用户日益严苛的需求,并通过引入AI技术为广播电视行业中的实时分析、内容分级和实况转播带来工作流程的变革。同时,NVIDIA通过与国内外行业领导者进行合作,将先进的技术与广播电视行业的需求紧密结合,为用户带来更优质的广播电视内容,助力整个行业生态蓬勃发展。