3D视觉+5G推动动态三维重建创新升级，6DOF体积视频构建全新“视”界

9月22日，由奥比中光主办，Open CV中国、CSDN开发者平台支持发起的Workshop系列之动态三维重建专场线上沙龙在奥比中光B站官方平台举行，同时在CSDN平台直播。这也是今年以来，奥比中光Workshop系列沙龙继机器人、扫描行业、3D人体扫描专场之后又一场3D视觉专项技术研讨活动。

本次活动，普罗米修斯视觉联合创始人兼CTO邵志兢通过《从多视角建模到体积视频》为3D视觉上下游从业者讲解了体积视频系统的设计及技术原理。邵总首先讲解了从传统摄影到体积视频的技术演进历程：传统摄影用二维平面记录三维世界的投影、VR/AR 的发展给予用户更多的观看角度，记录更多的画面来讲述不一样的故事。沉浸式内容的拍摄又分为Inside-Out（由内向外拍摄）、Outside-In（由外向内拍摄）两大技术路线；相比360°视频为主要形式的由内向外拍摄，由外向内拍摄的动态三维重建技术因为提供了完整的6dof观看体验，为沉浸式内容制作带来更多可能。

邵总详细对比讲解了动态三维重建技术的技术优势：Outside-In用数十个相机环绕出一个拍摄空间、捕捉表演者和道具的所有角度、每一帧都进行多视角建模，连续起来成为三维模型序列。相比绿幕分割，表演者是真实3D，而不是2D纸片；相比静态建模，表演者一直在动、在变化，而静态扫描往往使用数百张照片进行单一静态建模；不同于动作捕捉，不需要预先对演员建模，实拍可以记录更多的情绪和细节。

针对体积视频的技术要点，邵总从相机标定、相机内外参、从深度图到点云、从点云到模型、从白模到彩色模型、从模型序列到体积视频进行了深入浅出的讲解，并重点介绍了普罗米修斯“追光”轻量级全息拍摄系统。

作为目前市场上领先的自动化三维影像内容输入方式，“追光”改变了长久以来三维内容的生产制作方式，以轻型化方案提供了将真实世界的三维影像建模并投影进虚拟环境的能力。其采用分体式结构、多相机同步采集存储，可以在2小时高效完成搭建，成本只是重型方案的十分之一；占地面积仅需15平方，可实现实时拍摄。另外，它还搭载方便实用的用户界面，能快速导出高质量体积视频，配置全平台Unity 插件，并且支持回放、直播，极大地革新了消费者对体积视频的认知。

据邵总介绍，“成熟的3D传感器是‘追光’实现轻量级、低成本、高质量建模的重要保障。随着像奥比中光这样的3D视觉技术企业的发展，‘追光’的性能将越来越完善”。

作为全球为数不多对结构光、双目视觉、iTOF、dTOF、激光雷达等主流3D视觉感知技术均布局、研发的科技企业，目前，奥比中光量产的3D视觉传感器已广泛应用于智能手机、刷脸支付、机器人、智能家居、无人驾驶、工业测量等多个领域。

相比2D视觉识别，3D视觉识别系统不会轻易受到外界环境、复杂光线的影响，技术更加稳定，具有识别效率高、识别准确率高等优异性能。除了“追光”以外，在体积视频领域，采用奥比中光TOF系统解决方案的魅族17系列5G旗舰机，背景虚化能力得到了显著提升。不管是图像还是视频，均能获得更自然、更具空间层次感的渐进式虚化效果，而流畅的视频实时虚化体验也让17 Pro从一众5G新机中脱颖而出。此外，在AR测量尺、“夜视仪”等“接地气”的应用上，17 Pro也有更出色的表现。奥比中光与康佳合作的全球首款内置3D摄像头的人工智能电视——APHAEA A5旗舰版，创新性地实现AI健身、大屏社交、AR游戏等交互体验。

在Workshop圆桌访谈环节，奥比中光高级战略BD总监彭勋禄、邵志兢、万物耕新CEO陈乐三位行业专家，分别围绕“下一代3D内容创作工具和二维视频的竞争和共存”、“iPhone12 是否会带起3D内容的新需求”、 “未来VR/AR杀手级的应用是什么”、“开发者在三维建模领域的专业选择与就业方向”等话题展开深入探讨并共同展望了动态三维重建技术的未来应用场景。

活动现场，嘉宾们现场体验展示了普罗米修斯“追光”轻量级全息拍摄系统。据了解，尽管360°全景拍摄技术在不断发展，它拍摄出的影像始终局限在3DoF，没办法体现出6DoF VR的魅力。在传统全景视频里，由于观众只能转头、无法四处行走，就会破坏掉沉浸感。这是因为大多数现存相机都只是拍摄传统的视频，然后拼接成一个球体，像IMAX环形影院一样把观众包裹起来而已。

想要拍摄6DoF全景视频并不容易，搭载了奥比中光3D传感摄像头的“体积拍摄“成为解决传统全景视频痛点的关键所在。体积视频拍摄，通过分列高分辨率3D深度相机模组对空间或者拍摄对象进行多点、多角度扫描拍摄，便可得到完整的三维点云数据、坐标数据以及多曝光的高清彩色照片。数据上传至服务器后，后台自动完成三维建模、智能空洞填补、全自动数据提取、HDR优化、图片纹理映射等一系列步骤，生成和实体场景1：1的VR空间三维模型，最终生成的VR空间三维视频。支持在APP、网站、小程序、微信朋友圈等平台展示，实现在空间内的全景查看以及自由行走。从不同角度进行记录、软件分析后，压缩并重塑完整的3D人类形象的全部视角，这样用户在VR中可以自己选择视角，观看体验将更为流畅。

体积视频在虚拟会展、产品发布会、虚拟试衣、全息影像记录等领域有着广阔的商业应用场景。以婚纱摄影为例，2018年，仅婚纱照的总消费金额已经突破3700亿。作为能够最完整记录人生特定时刻的手段，全息影像必将成为未来人们记录重要时刻的方式之一。

相信随着5G技术的普及、通过3D视觉等技术的不断赋能，面对井喷式爆发的沉浸式视频体验需求，动态三维重建技术将真正实现让每一个普通用户都能够像拍摄二维视频一样快速、低成本的拍摄三维内容，构建起一个充满无尽可能的3D新视界。