现在看起来,无论从整体概念还是具体细节上,“全真互联网”都与“元宇宙”概念十分类似。
2020年4月,ps旗下射击游戏堡垒之夜,在游戏中为美联邦嘻哈歌手rs举办了一场线上虚拟演唱会,吸引了超过一千两百万名玩家在线参加,震惊全网。
自此,元宇宙概念真正开始引爆。
国内方面,也不甘落后。
前几年三月,移动沙盒平台开发商pp宣布完成一亿美元轮融资,海纳亚洲资本领投。
这家公司公司号称要打造全年龄段的元宇宙世界。这笔融资,也是迄今国内元宇宙赛道最大规模的单笔融资。
4月20日,游戏引擎研发商代码乾坤获字节跳动近一亿人民币的战略投资。
5月28日,云游戏技术服务商海马云完成近三亿元人民币新一轮融资。
b的扎克伯格提出,在未来五年左右的时间里,要将b从一家社交媒体公司转变为一家元宇宙公司。
知名硬件厂商英伟达则专门推出了虚拟协作平台nrs,号称是工程师的元宇宙。
黄仁勋说:“我们正处在元宇宙的风口浪尖上”,“nrs是打造元宇宙重要的组成部分”。
其实,现在应该也看明白了,大力为元宇宙摇旗呐喊的,要么是游戏软件公司,要么是游戏硬件公司,要么是社交网络公司,再就是区块链公司。
站台背书的背后,都是有一定的利益关联。
当然了也有专家认为,随着数字技术的发展,人类未来一定会完成从现实宇宙向元宇宙的数字化迁徙。
整个迁徙过程,分为三个阶段,分别是:数字孪生、数字原生和虚实相生。
数字化迁徙之后,数字空间元宇宙里面会形成一整套经济和社会体系,产生新的货币市场、资本市场和商品市场。
人类在元宇宙里面的数字分身,将会永生。
也就是即便现实中的肉体湮灭,数字世界的你,仍然会在元宇宙中继续生活下去,保留真实世界里你的性格、行为逻辑,甚至记忆。
如果真的是这样,元宇宙带来的,就不仅仅是技术问题,而是伦理问题数字的我,究竟是不是我?他是否能够履行人类的权利和义务?是否可以继承我的财产?是否仍是我真实世界里孩子的父亲、妻子的丈夫?
这些问题,都需要人类不断地思考,制定出对应的准则。
其实人们对元宇宙背后的世界充满好奇,也为元宇宙的价值争论不休。
因为所有人都想知道,元宇宙到底会给人类带来什么样的改变?元宇宙的底层技术,又是什么呢?
毕竟从命令行到全真互联,数字交互方式的时代变革,其实,虽然元宇宙是一个新名词,但元宇宙背后的数字虚拟空间,对大部分人来说,都不陌生。
早在计算机诞生的那一刻起,数字空间就已经存在了。
在命令行的时代,我们通过一个又一个字符,与数字空间进行交互。随着计算机软硬件技术的不断提升,我们很快进入了多媒体时代。
以p、p3、为代表的多媒体文件,冲击着用户的视觉和听觉,还孵化了游戏产业,将人类对数字世界的感官体验,推向了更高的层级。
进入二十一世纪后,人类的算力发展水平达到了前所未有的高度,音视频技术更是日新月异。
图片、音频就不用说了,视频质量方面,一路从720p、1080p发展到2、4、8,并最终催生了前所未有的人机交互模式虚拟现实增强现实。
的出现,第一次让人类感受到什么叫做沉浸式体验。
我们与数字世界的交互,从单向异步,变成了双向同步。我们向真正的数字空间生活,迈出了一大步。
2020年,企鹅董事局主席小马哥也是提出了“全真互联网”。
这个比元宇宙更早出现的概念,窥见了时代的悄然变化。
当时的小马哥预判,移动互联网的发展方向是全真互联网,“从实时通信到音视频等一系列基础技术已经准备好”,“虚拟世界和真实世界的大门已经打开”,“一场大洗牌即将开始”。
毫无疑问,无论是“全真互联”还是“元宇宙”,音视频技术仍然是底层的核心技术支撑。
这里不禁会想,究竟怎样的音视频技术,才能支撑“全真互联”和“元宇宙”的梦想?
人类实现真正的“虚实融合”,还需要对音视频技术进行哪些创新改进?
其实,音视频技术的未来发展方向,归根到底就是两个,一个是“助力内容创造”,另一个是“赋能行业应用”。
近年来,短视频业务的爆发及全民直播的兴起,将视频发展推向了新的高潮。
几乎在一夜之间,我们就进入了“人人看视频,人人拍视频”的时代。
如何进行优质视频内容的创作,成为很多视频p主非常关心的问题。
提升拍摄技术是一方面,平台和工具是否可以发挥助力,降低内容创作的技术门槛?
我们需要借助虚拟空间的延伸,学生居家学习,企业居家办公,产生了大量的网课、会议视频流量。根据运营商的统计数据,截至2020年底,视频在全网数据流量的占比已接近百分之七十。
视频不再仅仅是娱乐工具,而是变身为生产力工具。
各个领域和各个垂直行业,都希望借助音视频技术的赋能,改变现有的企业经营模式,提升效率,降低成本。
尤其是技术,经过多年的发展,已经在文旅、教育、工业、医疗等领域有了成功的应用案例。
越来越多的企业希望拥抱它们,但是,又对其背后的技术门槛和资源投入望而却步。
我们现在每天都在讨论数字化转型,其实,音视频对垂直行业的赋能,就是企业数字化转型的一个极佳的入口。
究竟如何应对上面提到的音视频发展需求和挑战?国内互联网巨头企鹅,已经给出了自己的回答。
自时代以来,企鹅在音视频通信领域已经有二十一年的技术积累。
为了更好地进行音视频黑科技的探索、研发及应用落地,企鹅也是专门成立了多媒体实验室。
多媒体实验室通过企鹅云,输出通解决案及产品。
2021年,企鹅全新推出“腾讯云音视频”品牌,就是依托于企鹅多媒体实验室的研究成果,为客户提供更高质量、更低成本的音视频通信服务,共创“全真互联”。
首先,是智能媒体的内容生产。
先看智能视频。做过视频的人都知道,视频内容创作的大部分工作量,都集中在视频内容剪辑和渲染上,既费时又费力。
相比于传统的人工剪辑,企鹅云音视频可以提供视频的智能裁剪、智能绿幕替换,还可以实现智能拆条、集锦和封面。
说白了,就是系统基于算法和学习,自动对视频素材进行“深加工”。
以智能裁剪为例。一个横屏制作的视频,如果用户手机竖屏观看,图像要么会变小,要么会被固定裁剪,影响观看体验。有了智能裁剪,系统会自动识别图像中的关键区域,进行最合理的裁剪,让用户看到关键内容。
智能拆条,则是智能识别和分析视频原始素材中人物的动作、事件和表情,自动定位精彩片段,将其提取出来,完成剪辑、配乐等工作,变成精彩视频集锦。
再看智能音乐,这是对音频信号的智能识别、编创。
具体识别对象,可以是歌曲中的鼓点、节奏点或音乐高潮。针对音乐的强度、情绪、风格、情感等维度,对音乐进行理解和打标签。在编创时,支持将音乐中人声、伴奏、吉他、钢琴等音轨分离,
智能音乐有一个非常有趣的能力,它可以自动对歌词进行续写,将一首流行歌改编成p,语境下支持押韵。
基于音频和视频的融合,应用更为广阔,可以实现视频配乐、音乐和自动。现在短视频特别流行,通过音视频融合,可以帮助普通创作者针对视频提供推荐音乐、自动生成配乐,或者针对音乐找到符合情绪和律动的视频,大幅降低作品的生产难度。
除了内容创作以外,智能媒体还可以用于视频修复和视频增强。
企鹅多媒体实验室通过深度学习敦煌壁画病害数据,形成自动识别并添加图示的一整套算法,打造出高效的壁画病害识别工具。
同时企鹅讯多媒体实验室也开启了对老旧影像资料进行修复的工作,解决老电影抖动、划痕、不清晰等问题,使之可以适配更高清的显示设备。
如果采取人工修复的方式,每人每天只能修复4、5分钟影片。而基于腾讯云音视频的智能修复方案,修复一部影片只需要几个小时。
再来看看沉浸媒体也就是的关键技术和解决方案。
是元宇宙和全真互联的核心技术,也是音视频最具挑战的领域。
企鹅云音视频,基于企鹅多媒体实验室研发的全景技术,可以实现360超高清点播和360高清实时通信两大核心能力,提供端到端一站式全景导览方案,包括园区街景导航、360全景景区慢直播、数字沙盘、360全景会议会展直播,等等。
提升编解码压缩能力,是应用的关键。
视频因为含有三维的时间和空间信息,所以冗余高,数据体积大,对带宽的要求高。如果不进行适当压缩处理,很难存储、传输和计算,占用的资源会很多。
当前有一种压缩方式,是处理后去除25的冗余点,但渲染b边界明显,无传输方面的处理。腾讯多媒体实验室的方案,比这种更接近原片,播放时无明显边界。而且腾讯的方案增加了传输的处理,对可视区域进行切块、渲染播放,能够节省50的带宽。
在“一部手机游云南全景点播”项目中,基于腾讯云的云渲染解决方案,将南头古城以11的比例,超精细化还原到了云端,任何人都可以通过小程序畅游古城。
在同等网络条件下,传统4无切块方案带宽需求大于9ps,而采用了腾讯的8切块方案后,带宽需求小于8ps。
全景导览方案的四大核心技术,分别是全景拼接、点云空间重建、图像增强、点云数据压缩。
全景拼接,可以通过算法将单张照片拼接为全景照片,算法效果极佳,有效减少了画面变形、畸变。
图像增强,则是通过图像降噪、色彩增强技术,增强画面色彩和细节,提升人眼的主观效果。
点云空间重建,是以一个实用性很强的技术。
它可以通过全景图景深估计,重建空间点云模型,展示空间结构。因为算法经过优化,数据可以压缩至原来的六分之一,同时保持主观视觉一致,非常适配移动端展示。
基于点云重建的物体数字化技术,通过非接触式的数据采集,能够重建物体的数字模型,形成数字档案。这一技术,非常适合文物的数据采集、存档和展示,降低文物损坏风险。在零售行业,这些技术也可用于商品信息的采集、归档。
还是前面提到的敦煌研究院合作项目,沉浸式远程会诊,基于多媒体实验室的高性能编解码直播引擎,用4超清画质的360度沉浸式画面,无死角展示洞窟内的景象和文物的细节。
企鹅云音视频解决方案涵盖了智能采集、数据处理和渲染展示等多个环节,具备全景漫游、热点交互、多模式切换、沉浸式展示等多种实用功能。对用户来说,使用过程非常简单。
正如前面所说,音视频技术的研发,是对解决方案提供商综合能力的考验,离不开长期的资源投入和能力沉淀。
说白了,先进的数据压缩算法,强悍的算力硬件,对5、等技术的掌握和运用,是一个优秀音视频解决方案企业的必备条件。