技术与艺术的关系

责编 / Ant “好为人师,博而不精,杂而不纯。”——宋利。 收到对宋利的采访邮件,正文开始是一段自嘲,让原本枯燥的技术采访变得生动。相比于之前几个采访,本文的信息量更大,不得不对严谨的学术界敬佩三分。本文是『下一代编解码』系列采访的第6篇,邀请到了上海交通大学任研究员,博士生导师宋利,他全面的解读了编解码器的现状与未来趋势。 LiveVideoStack: 请简要介绍下自己


责编 / Ant


“好为人师,博而不精,杂而不纯。”——宋利。


收到对宋利的采访邮件,正文开始是一段自嘲,让原本枯燥的技术采访变得生动。相比于之前几个采访,本文的信息量更大,不得不对严谨的学术界敬佩三分。本文是『下一代编解码』系列采访的第6篇,邀请到了上海交通大学任研究员,博士生导师宋利,他全面的解读了编解码器的现状与未来趋势。


LiveVideoStack:请简要介绍下自己,以及目前主要的工作方向,对哪些技术或领域感兴趣?


宋利:谢谢邀请。我目前在上海交通大学任研究员,博士生导师,研究方向是视频编码、图像处理与计算视觉。了解上海交通大学多媒体实验室,可以访问这里 http://medialab.sjtu.edu.cn


我属于兴趣广泛型的,对各类奇技都心生好奇。就视频而言,从视频生产、分发到消费,整个链路的相关技术都会留意,近期关注点有:


  1. 视频生产(production): UHD/HDR,360VR等新型视频内容的采集、加工、合成技术; 基于人工智能的视频处理技术;Video over IP;云化媒体生产系统;

  2. 视频分发(distribution/delivery):新型编码标准/技术、混合云+边缘媒体处理架构,低延迟传输相关协议和技术(CAMF、WebRTC、HTTP2)

  3. 视频消费(endpoint):新型视频播放器/终端软件,支持跨屏同步,动态渲染(VR)、强交互(AR)和AI

  4. 视频体验评价(QoE),视频内容保护(DRM)等,如区块链和媒体服务的联姻。


关于编解码器


LiveVideoStack:什么样的编解码器是一个好的编解码器?视频质量、码率、算法复杂度、对数据丢失或错误的鲁棒性等。


宋利:当我们评价一个东西是好或者不好,首先需要给出一个测度。从广义上看,编解码器的测度是多个维度的函数,维度包括:压缩效率(即码率和质量)、算法复杂度(时间、空间复杂度)、实现复杂度(平台支持能力、技术人员市场占比)、系统指标(可并行性、可扩展性、延迟大小、抗误码能力)等。由于这些维度之间是互相制约的,实际研发中只能取主要维度而牺牲其他方面,取得某种平衡。比如在视频内容生产领域用的JPEG2K、TICO等编码器,就强调低复杂度,压缩比并没有分发领域的HEVC、H264等高。再比如H264编码器,会分为不同的profile或类型,直播编码器码率通常是离线编码器1.5到2倍,就是为了降低延迟而牺牲了压缩效率。


L

知秋君
上一篇 2024-08-14 18:12
下一篇 2024-08-14 17:48

相关推荐