一、产品概述

    该系统利用云端强大的渲染能力，根据客户端所发送的多任务指令实时对大场景内容渲染，并利用先进视频编码技术将渲染内容以低延时高保真方式推送至客户端，以实现完美的交互。该技术支持动画、虚拟现实等。

二、核心优势

基于GPU边缘端实时渲染及增强转码

    在边缘节点辅助的媒体实时处理方面，实现多通道超高清视频的增强转码和渲染计算。在超高清视频增强转码方面，由于视频源格式、质量等参差不齐，为提供一致的高质量用户体验，在边缘节点进行按需转码时，提供了视频实时增强处理，比如超分辨率重建等功能。

    在超高清视频渲染计算方面，开展面向实时场景的低复杂度处理与渲染算法研究， 基于视觉显著性模型，对场景进行多区域划分，构建内容自适应的局部增强处理模型，降低计算复杂度；使用基于 GPU或者FPGA 的硬件加速方案，提升处理与渲染的并行度。

低延时超高清转码技术

    视频编码延时主要来源于三个方面，包括视频帧参考关系、编码流水线设计以及编码模块的复杂度，针对上述三个主要内容系统实现基于云端低延时视频编码技术：

(1)一种利用输出延迟管理图像缓冲区技术，通过设置新的语法元素，用于标识图像重排延迟和图像输出延迟，建立了缓冲区管理时图像头解析与图像导出顺序（Picture Order Index，POI）的有序关联，保障了导出图像的有序输出，以及灵活的对输出图像的延时进行有效的控制。

(2)一种新的并行流水线模式，首先通过帧类型场景检测和帧复杂度估计来判断输入视频序列各个帧的类型，然后进行一种通过切断反馈回路来减少等待时间的帧间并行方法，最后进行帧间协同编码的工作，包括变换编码、熵编码以及去块滤波等技术以及码率控制方案来实现完整的，从而提升编码的速度，以降低系统延时。

(3)利用深度学习的方法可以有效的发挥作用，拟采用基于深度学习预测CU划分和基于统计学习预测PU模式组合，替换高复杂度的递归编码探索，实现了在性能基本保持不变前提下实现复杂度的显著降低。

三、应用场景

系统图

产品图