多视角观看——在同一屏幕上同时显示多个视频流的功能——逐渐成为实时体育赛事直播的关键能力。决定其实现效果的关键不在于功能本身,而是所采用的架构和技术。
尽管像YouTube这样的大公司可以自主研发多视角技术,大多数内容提供商通常会选择少数几个供应商提供的解决方案。这些供应商包括Skreens、Broadpeak、Synamedia和Tiledmedia。每家供应商提供的架构各不相同,包括服务器端、编码器端和播放器端。
在服务器端架构中,多视角频道由正常编码的其他频道组合而成。确定多视角布局后,各个频道部件会被送入合成引擎,然后组合成单个视频流。合成引擎将该多视角流编码并传输,使其在CDN和流媒体包装器看来与普通频道无异。这对于拥有大量旧设备的运营商尤其有吸引力,因为服务器端多视角无需更改播放器便能启用,并且在处理低性能硬件的同步多流播放时无需担心。然而,这种架构也带来了基础设施成本和复杂度的上升,因为每个静态布局或定制组合实际上都是一个独立的频道,需要在云端进行渲染和编码。
Skreens是服务器端多视角架构的供应商,通过其Tessera品牌提供相关产品。Skreens的Tessera平台被MediaKind的MK.IO多视角采用,而Comcast则将其部署在X1和Xfinity Stream服务中。此外,Skreens还计划支持FOX Sports直播的2026年FIFA世界杯等重大赛事。
在客户端多视角架构中,服务将多个流送至客户端,由客户端负责解码和渲染成单一视频流。这种架构在网络侧,CDN只需要提供独立的HLS或DASH流。多视角控制平面与应用程序并行运行,向播放器发送布局元数据,指示播放器哪些流需要显示、显示几个方块、如何放置方块以及哪个方块拥有音频焦点。设备上的播放器需要同时处理多个流,保持流的同步和解码,将它们组合成单一布局。这种架构的优点在于灵活性,因为没有服务器端的合成,运营商不受预设布局的限制,可以支持任何输入组合而无需启动新的云端编码器。然而,客户端多视角的缺点是将大量的计算任务转移到了设备上。
Tiledmedia提供了一种客户端解决方案:一个播放器处理多流的检索、合成、同步和显示,采用解码器感知切片,将多个流流式传输、切片并在播放器中合成。这种架构的一个微妙但重要的用户体验优势在于音频焦点切换,因为播放器本地管理多个解码器,切换主要音频流几乎是瞬时的,无需额外缓冲。
在编码器端多视角架构中,多视角在编码器/源点层构建而非云端合成器或强大客户端。所有摄像头或节目流首先被编码成标准的自适应比特率梯度。关键组件是一个多视角布局服务,该服务接收应用程序的布局选择并将其转换为定义每个方块输入流、大小和位置的元数据参数。这些指令被发送到包装器,后者使用现有的清单操作和切片逻辑来组装虚拟多视角频道。CDN上传输的是单个切片比特流和标准的HLS或DASH清单。这种方法对于运营商来说,可以将多视角视为包装问题而非转码项目,因为每个输入流只需编码一次。
Broadpeak和Synamedia是编码器端多视角架构的提供商,Broadpeak称其为“多包”架构,通过扩展其原有的源点包装和云DVR技术来实现。这种架构作为现有源点包装器和个人化层的一部分提供,可作为授权软件、SaaS服务或完全托管服务。