RTE2023开幕,声网首创广播级4K超高清实时互动体验

10月24日,由声网和RTE开发者社区联合主办的RTE2023第九届实时互联网大会在北京举行,本届大会以“智能、高清”为主题,探讨AIGC、出海、数字化转型等时下最热门的话题。在大会上,声网创始人兼CEO赵斌宣布:“声网在RTE行业首次实现广播级4K超高清实时互动体验。”

赵斌指出, “4K不仅仅只有分辨率一个纬度,光亮强度的动态范围、色彩的真实度、饱和度,以及色彩渐变的细腻程度,都是真正超高清体验里不可或缺的一环。”广播级超高清可以带来更加逼真的视觉效果,高对比度和丰富的色彩表现可以使影像更加生动,细节更加清晰,并以此提升观影体验。

会上,Founders Space创始人兼CEO 史蒂夫‧霍夫曼 (Steve Hoffman)从国际投资人视角,洞察了AI赋能RTE未来的诸多可能性。声网首席科学家、CTO钟声聚焦AI时代实时互动的趋势,带来了最前沿的技术观点和解读。联合国人口基金(UNFPA)驻华代表处副代表兼负责人欧雯姗(Ira Ovesen)则从“科技无国界”的角度,介绍了实时互动技术为世界带来的改变。

当天,声网首席运营官刘斌、喜马拉雅首席科学家卢恒、Soul APP技术副总裁张高政、小红书音视频架构负责人陈靖、商汤科技商务总监 数字文娱事业部副总裁李星冶,还共同探讨了“AI如何赋能实时互动体验改善及场景升级”。

AI如何赋能RTE未来

AIGC被认为是当前的技术革命,它与RTE的深度结合,又将带来什么改变呢?Founders Space创始人兼CEO 史蒂夫‧霍夫曼在分享中指出:“人工智能将对许多领域产生影响,在AI赋能的RTE未来,我们将看到每个人都会拥有更加个性化的体验,更加动态的程序将随着图形、音频、视频的实时变化而变化,AI将为我们带来前所未有的连接方式。在更深层次上,AI还将为人类增加更多的生产力水平,带来动态的虚拟世界等等,让我们感受到更多的沉浸体验。”

史蒂夫‧霍夫曼表示:“在AI和RTE技术的加持下,新的穿戴设备可能会进入市场,比如新的皮肤电子设备、感官增强设备等,它可以让我们听到人类听力范围之外的频率。此外,脑机接口也将读取我们的脑电波,从而帮助我们实现冥想或对其他设备的控制。”在工业RTE场景应用下,人们可以聚在一起,实时通过虚拟或真实工厂观看流水线运作、产品生产等。在AI陪伴场景中,人工智能伴侣这一概念将成为人们社交生活、娱乐、事业的一部分。

综上,未来可能会有各种类型的伴侣应用以及新的实时接口方式出现,甚至会出现一套为RTE开发的全新硬件,这些都将极大改变RTE领域的发展前景。

AI时代 实时互动何去何从

AI时代已经来临,实时互动该何去何从?声网首席科学家、CTO钟声指出,回溯过去五年,最典型的事件就是大模型的突破,从2017年的Transformer,到如今的ChatGPT-4,人工智能的发展,让信息传播和消费智能化的趋势越来越明显,万事归于中心化AGI接管的趋势和威胁也越来越明显。大模型在带来发展机遇的同时,也带来了计算需求快速增长、算力受能源供给力限制、大模型数据资源不够、存储需求增长过快等问题。未来,我们除了要做负责任的AI之外,在端上和边缘上的分布式实时智能将成为价值公平分配的重要技术手段,也是减缓中心化AGI对人类威胁的有效途径,这也注定会成为一个新的技术发展趋势。

钟声认为,AGI将走进实时互动,实现人人可分身,帮助在应用场景中复制名师、网红,甚至普通人也将通过AI分身丰富体验、缓解时间稀缺的瓶颈。。此外,他预测,具备端边实时智能的高清实时互动能力将成新趋势和竞争焦点。

钟声介绍到,实时高清需要许多端上实时AI,在Low Level Vision and Audio这一需求层面,声网的SDK 4.1.x, 4.2.x版本已经可以支持1080P/4K视频的例如超分、虚拟背景、感知编码、降噪、去回声等底层计算机视觉处理和高音质的计算机听觉处理能力。在High Level Vision and Audio层面,声网已经部分实现对物体、声音、场景的理解和重构能力,包括面捕、动捕、情感计算,物体识别和场景重建等,可以大力改善多种应用场景下的用户体验。

AI如何赋能实时互动体验改善及场景升级?

AI技术的发展为各行各业带来了用户体验改善和场景玩法创新。针对这一话题,喜马拉雅首席科学家卢恒、Soul APP技术副总裁张高政、小红书音视频架构负责人陈靖、商汤科技商务总监 数字文娱事业部副总裁李星冶、声网首席运营官刘斌均发表了自己的看法。

谈到AI技术对业务发展的影响时,卢恒表示,喜马拉雅从文本处理到音频内容生成的过程中都使用了大量的AI技术,目前,AIGC生成的音频内容日均播放量已超过250万小时。张高政则表示,大模型的理解能力对于UGC平台及用户来说都非常有利,它不仅可以快速提升内容生产效率,还能降低内容生产门槛。

AI大模型的发展是机遇与挑战并存的。陈靖指出,对于很多公司而言,说清楚一些AI大模型项目的必要性是一个巨大挑战,很多项目并不像利用AI去做体验增强那样,能够跟用户留存及转化的一些指标建立关联。李星冶则表示,他所看到的挑战有两点。其一,在为许多C端流量产品提供服务时,算力、带宽、智力相关的弹性储备是一个很现实的挑战,其二,大模型开发厂商如何平衡投入以及预期收入之间的关系,也是一个挑战。

如刘斌所总结的,无论未来是挑战还是机遇,我们都应该在各自行业里去努力尝试。在大模型新的范式发展下,未来我们将看到越来越多的场景落地及业务价值。