원우주, 불은 급작스럽게 막지 못한다.
불과 몇 달 만에 Minecraft, Roblox는 더 많은 사람들의 시야에 들어왔습니다.GREE、엔비디아, 마이크로소프트 등 속속게시관련 제품 솔루션에 대해 한국, 일본은 국가 차원에서 메타우주 코스를 대대적으로 배치한다고 발표하기도 했다.'넘버원'이 그리는 모습은 내일이면 현실이 될 것 같다.
블룸버그 업계 연구 보고서는 메타우주가 2024년 8천억 달러 시장 규모에 달할 것으로 예상했고, 보화영도는 메타우주 시장 규모가 2030년 1조5천억 달러에 달할 것으로 전망했다.시장 잠재력이 무한하다.
도대체 무엇이 메타우주입니까?간단히 말해서, 메타 우주는 현실 세계와 평행하여 항상 온라인 상태인 가상 세계로 이해할 수 있습니다.이 세계에서는 식사, 잠자리를 현실에서 해야 하는 것 외에 나머지는 일, 사교, 오락 등을 모두 가상세계에서 실현할 수 있다.
신비, 미지, 꿈속에만 나타날 수 있었던 환상은 머지않아 실현될 수 있을지도 모르니 생각만 해도 흥분된다.
그러나 인정하지 않을 수 없는 현실은 높은 의진도의 가상 세계가 아직 건설되지 않았고, 사람들의 가상 세계에서의 이미지가 아직 세워지지 않았으며, 단말기는 아직 그러한 데이터 계산량을 지탱할 수 없고, 인터렉션 체험이 아직 충분하지 않다......일련의 문제들이 공략되기를 기다리고 있고, 메타 우주의 대문은 아직 열리지 않았다.
메타우주 양대 핵심 기술: 가상인과 실시간 상호작용
正如前文所述,互联网的终极目标——元宇宙,可以打破人类社会活动的空间与时间的界限。在一个创造的虚拟空间里,来自世界各地的人们进行着真实的社会活动,社交、商业、娱乐...而其中“虚拟人”和“实时互动”能力是必不可少的两大核心技术。
虚拟人代表了个体可辨识度的形象和身份,实时互动能力可以实现沉浸式真实的社交活动,最终模糊虚拟和现实的边界。
元宇宙中虚拟人是指具有数字化外形的虚拟人物,与具备实体的机器人不同,虚拟人依赖显示设备存在。一般来说,我们将虚拟人分为两类:一类是真人可驱动的虚拟人,另一类是具有人工智能的 AI智能虚拟人。
元宇宙是另一个真实的人类社会活动的无限广阔空间,所以技术上实现真人可驱动的虚拟人是迈入“新世界”的第一步,当然如《失控玩家》里具有自我意识的 NPC虚拟人物如果也能在元宇宙中实现,更是让人无限遐想。
因此元宇宙的虚拟人应具备以下三方面特征:
一是虚拟人外在形象,拥有人的外观或者卡通等有趣生动的外貌,具有特定的相貌、性别和性格等人物特征;
二是虚拟人表达能力,拥有人的行为,具有用语言、面部表情和肢体动作表达的能力;
三是虚拟人感知互动能力,拥有人的思想,具有识别外界环境、并能与人交流互动的能力。
外在、表达、感知,这些我们几乎每个现实人类都拥有的能力,对技术和设备的要求其实很高。
首先,爱美之心人皆有之,现实生活中的我离“盛世美颜”还有那么一小段距离,也许在新的世界里,我可以拥有“人生如果再来一次”的机会,倾国倾城走向人生巅峰。但是创建一个“美而好”虚拟形象,并不是一件容易的事情。AI和图像的技术门槛很高,例如 3D建模,高算力和渲染对设备性能要求等都是是一个业界难题。
其次,拥有了“沉鱼落雁、闭月羞花、倾国倾城”的盛世美颜后,光是一个静态形象,没有表情、没有肢体表达,元宇宙的世界瞬间变成“行尸走肉”的世界。这里涉及到语音交互(TTS、ASR、NLP等)、动画合成(驱动、渲染)等 AI相关技术,对技术要求的门槛可想而知。
最后,元宇宙映射的是真实人类世界,那么人类社会活动的基本元素“互动”是构建元宇宙的最关键一环,为了还原真实线下的无违和感的互动体验,需要低延时、高质量的实时通信服务保障,但是当前复杂多变的公网环境、终端设备等因素对通信传输是一大挑战。
为了能够在“新世界”里“自由翱翔”,虚拟形象要“美好”,表达要“清楚”,沟通互动要“顺畅”……需要解决很多问题,但是目前互联网广大用户还是以移动端手机为主,机型种类等也复杂多样。因此,不需要外戴设备,又能解决实现虚拟人互动所需强大算力引起的性能问题,同时在复杂网络环境也能保障实时互动效果的解决方案,是当前最契合实际也是最好切入“元宇宙”的不二之选。
网易云信,来了!
业界首发虚拟形象实时互动融合 SDK,迈出进入元宇宙的第一步
针对当前面临的诸多难题,网易云信联合网易伏羲实验室推出业界首个「虚拟形象+RTC」融合 SDK,并且基于该融合 SDK形成网易云信虚拟形象实时互动解决方案。
该解决方案不仅可以生动还原虚拟人形象,同时结合了网易云信 WE-CAN(Communications Acceleration Network)实时传输能力,可以实现虚拟人实时互动,帮助企业客户 0门槛也可实现虚拟形象实时互动场景,迈出元宇宙的第一步。
具体来说,网易云信虚拟形象实时互动解决方案具备六大优势:
一、形象:高度还原,极致灵动。
网易云信虚拟形象实时互动解决方案可以通过摄像头或上传的视频检测用户面部表情动作,从而驱动 3D虚拟人物做出相同表情,包括五官表情、头部姿态、眼球运动、吐舌头等均能还原追踪。
部分传统的做法为了减少设备性能要求,往往以牺牲用户体验作为代价,例如动画匹配方式:当用户进行说话,或者动作行为后,在预设的“表情、动作数据库”进行帧动画的匹配,最后对一系列帧进行匹配播放实现虚拟人的“表达”。但是人类的行为是多样化的、随机的,不可能对所有行为进行预知预设,可想而知会出现所谓的“面瘫”或者“僵尸”。而网易云信虚拟形象实时互动解决方案采用的是“端上实时捕捉、云上实时驱动”的方案,相比动画匹配方案,更真实灵动。
二、硬件:无需穿戴设备,手机即可实现。
网易云信虚拟形象实时互动解决方案支持使用普通单目摄像头进行迁移,无需其他动捕设备,简单便捷。只需普通的移动端设备或者 PC端设备安装网易云信 SDK后即可生成并驱动虚拟人,和远端真人驱动的虚拟人进行实时互动。
三、性能:端-云协同,千元机也可畅玩。
用户通过终端设备(移动端或者 PC端)进行音视频采集后,通过网易云信的 SDK进行动作模型数据输出,连同采集到的音视频数据传输到云端进行虚拟形象重建合成。
通过在云端进行动捕数据分析建模渲染,网易云信虚拟形象实时互动解决方案极大的减轻双端算法性能压力,降低了用户入门门槛,让更多千元机用户也可以提前体验虚拟互动的乐趣,感受元宇宙福利。
四、互动:低延时、无卡顿,元宇宙中的“面对面沟通”。
作为融合通信云专家,网易云信的 RTC能力在行业一直处于领先地位。针对元宇宙中必不可少的“实时互动”场景,网易云信 WE-CAN全球智能路由网络为“0距离”沟通保驾护航。
面对复杂多样的网络环境、良莠不齐的终端设备,WE-CAN可以稳定提供全球范围内毫秒级延时的实时互动能力,通过智能路由网络择优选择最佳路线,百毫秒内触达全球数百个国家和地区,为 99.9%的通话提供无卡顿的音视频服务。基于高可靠低延时的网易云信 WE-CAN全球智能路由网络,网易云信虚拟形象实时互动解决方案可以实现虚拟人实时互动,像现实世界面对面对话一样。
五、便捷:1个 SDK即可实现元宇宙2大核心技术。
面对元宇宙中虚拟形象和实时互动两大难题,网易云信的一体化解决方案将虚拟形象和 RTC在技术层面深度结合封装,客户再也无需对接多个供应商,只需一个 SDK就可以构建一个充满遐想的高体验的虚拟形象实时互动场景。
网易云信「虚拟形象+RTC」融合 SDK承担了音视频采集/前处理,数据分析、编码传输、解码渲染等轻量级工作,将复杂的高算力的工作转移到云端,借助融合 SDK形成高效的端-云协同工作模式,提供虚拟形象实时互动一体化能力。跨越高深的技术壁垒,只需这一个 SDK。
六、场景:金融、电商等多行业适用,降本增效快人一步。
值得一提的是,网易云信虚拟形象实时互动解决方案不仅能够应用于元宇宙世界或娱乐社交行业,还可以广泛应用于各行各业,帮助企业降本增效的同时,也能提升客户体验,从而提高用户留存率,创造营收。
金融行业:虚拟数字人客户服务,提供 7 x 24小时不打烊的温暖服务
电商行业:虚拟人直播带货+客户服务,带来业务营收、客户体验双重提升
小结
尽管进入元宇宙需要解决这样或那样的问题,但不可否认,元宇宙场景的实现、元宇宙产业的成熟,只是时间问题。《头号玩家》里的场景可能还得再想象几年,但虚实融合已是互联网发展的大趋势。
一直以来,网易云信精益求精地打磨技术,站在行业前沿探寻风向,希望能够帮助行业客户不错失每一个机会。现在,欢迎各位朋友和网易云信一起,迈出进入元宇宙的第一步。
