2020春晚AI技术全景解密 索贝助力总台再度成功探索
2020-03-05 11:16:25 
本次2020鼠年除夕佳节前夕，在央视播出的大型春晚预热节目《春晚进行时》中，索贝AI再现深厚功力。索贝媒体智能实验室团队在全程仅6天时间的高压任务中，以深厚的技术功底，超强团队意识和协作能力克服了重重困难，助力总台将最新的AI技术巧妙应用在春晚的融媒体一体化生产中。在保证节目播出安全的前提下，完成了首次AI智能综艺访谈类节目剪辑、晚会类成片节目拆条任务，呈现了崭新的制作模式，极大提高了节目的制作效率，为总台“5G+4K/8K+AI”战略布局又提供了一次成功的实践经验。
首次！AI技术 综艺运用
《2020春晚进行时》：《春晚进行时》是一档已连续4年为春晚预热的原创新媒体节目，被称作“视频版”春晚节目单，备受全网关注。《2020春晚进行时》节目采用AI智能剪辑与传统编辑相结合制作成片，这是AI智能剪辑系统首次在综艺访谈类节目中使用。此次全新升级的《2020春晚进行时》于1月22日21点起进行时长约2小时25分的全网多平台直播，在全网多平台汇集播出，最终全网各平台总计观看量约6000万人次。
索贝媒体智能实验室团队在全程仅6天时间的高压任务中，以深厚的技术功底，超强团队意识和协作能力克服了算法构思和实现时间非常短、节目制作逻辑主观性强、现场突发状况不确定等重重困难，成功完成任务。至此，综艺访谈类节目智能剪辑不再是AI智能剪辑的禁区，实现了从0到1的惊人突破，超预期的满足了总台电视节目播出和新媒体发布的高质量要求。
由人工智能编辑系统完成的明星采访短视频在“春晚”微博账号发布
突破！集智攻关 勇于创新
本次索贝AI智能剪辑，包含了综艺类访谈节目初剪和晚会类成片节目拆条两部分。在充分考虑了不同场景下功能的差异性之后，索贝媒体智能实验室团队将面对不同场景时所需的功能进行了归类，流程进行了抽象，设计出：特征提取、融合推理、业务应用的分层结构，让不同细分编辑领域的编辑需求能够依托这三层结构，快速梳理，加以实现。
此次春晚系列节目的人工智能剪辑系统，曾应用于总台新闻新媒体平台的国庆70周年阅兵直播活动中。该系统平台具有良好的功能扩展性，平台沉淀了大量编辑类的专业数据，内置众多编辑领域的专业算法。
通过先对《2020春晚进行时》节目的历史成片素材和相似节目进行学习，为新节目制作提供数据依据。系统使用深度学习算法模型提取节目编辑相关特征，对特征进行进一步数据统计分析，获得节目镜头切换频率，景别切换序列，各类型镜头总时长占比等镜头语音，为新节目制作的镜头运用提供数据支撑。
正式节目的剪辑融合了多种智能手段共同来完成，比如利用深度学习模型连续提取画面整体特征,对比判定画面稳定性;依托人脸识别相关技术，开发了基于时域特征的说话人识别模型；结合能够判别镜头景别分类模型等完成各路原始信号特征提取。对多路视音频的特征数据进行统计分析和融合推理后，推荐出各时段的最佳候选镜头，最后由学习过节目镜头切换语言数据的智能导播算法完成镜头选择和合理切换，产出春晚进行时的综艺访谈节目片段。
继70周年阅兵直播活动之后，索贝AI智能剪辑团队不断向前，精益求精，在数十天内的短时间便完成专用算法定制，特定智能流程串联，顺利保障了节目的制作生产，是索贝助力总台融合媒体技术团队实现的又一次具有重大意义的突破。索贝将持续发力融合媒体、超高清、人工智能、大数据、云计算等领域，以“视频+”的战略理念，与合作伙伴一起，“智”造美好视界。
