Apple前晚在苹果公园发布了iPhone 8，iPhone 8 Plus和iPhone X。新手机
看好AR不止苹果一家，SONY紧随其后放大招
胡吃海喝的胖伙计
2017-11-01 08:45
笔者之前曾发过一篇文章
其中简述了Apple助力AR发布的ARKit相关信息，有兴趣可以再去看一眼。
而昨天下午随着SONY Xperia XZ1的发布，又一个新东西进入了大家的视野——3D Creator，其功能即即时3D扫描，可以在很短的时间内将现实中的物体在虚拟空间重铸。
通过以下视频，你可以简单了解3D Creator的操作过程。
可以看出，3D Creator通过固定的步骤环绕被摄物体来获取信息。SONY并没有给出详细的技术白皮书，但是我们依旧可以根据以上视频猜出个大概。
其实这种技术并不新奇，可以说很早之前就已经存在了——照相测量法。代表作之一就是蛮久之前还火过一阵子的123D Catch，利用数张从不同角度对被摄物体的照片即可3D重铸。（不过已经被关停了，无论是手机端还是桌面端，新的软件被整合为Autodesk ReMake）笔者在这里简述一下123D Catch的工作原理，用于下文对比3D Creator工作过程。
1.从各个角度尽量拍全被摄物体。当然是越多信息越全面，但是也意味着更多的后期计算量；
2.上传照片后，照片的特征点会被选出，并不断地进行两张照片间特征点的匹配。我们知道正常环境中光线的变化，拍摄时画面的缩放等条件都会影响到是否精确找出特征点以及能否成功配对特征点；
3.根据上一步的匹配结果，系统会利用特征点重现拍摄场景，包括被摄物和相机的相对位置；
4.有了每一张照片的场景信息，就可以挑选出更多的特征点进行更全面的重铸。此步骤完成时已是非常密集的点云；
5.由密集点云进行表面重铸。多点连接形成表面，3D形状就完成了；
6.对形成的3D模型贴图填色。最终的3D重铸就全部完成了。
好，了解了这些主要步骤后，我们再来看一遍3D Creator的运行过程。可见步骤中，用户需要360度环绕被摄物体，虽然没有拍照出片的啪啪声，但其实摄像头在每帧刷新时都会记录数据，比如我们在屏幕上看到的白色点位就是物体的特征点。当我们在扫描一周之后可以看到模特身上稀疏但是已经大致有了形状的点云集合，到这里就相当于上文中的1，2，3步的目的，寻找并匹配特征点生成稀疏点云。由于是实时生成点云，那么可以猜测3D Creator需要一定的定位能力，来校定相机的位置，很可能和iPhone提升AR使用感受的方法一致（ARKit那篇有提到过），利用VIO（利用摄像头）和IMU（加速计和陀螺仪）来确定相机的6D姿态（除3D xyz轴移动外还有俯仰，偏航还有翻滚）。
3D Creator扫描中
接下来用户直接看到的是一个由众多小三角形组成的3D表面，既上文中的步骤5，那么步骤4就是在视频中大概几秒钟的时间内由手机内部完成的。
生成3D表面
最后再提示扫描物体的时候其实就是步骤6，在对3D模型进行贴图了。
表面纹理贴图
到这里，你如果觉得SONY炒冷饭，那可就大错特错了。为什么SONY的粉丝信仰度那么高？人家是真的有各种黑科技啊。这里，玩过2D转3D的都知道，如果你想要在自家机器上面进行操作往往需要很高的配置，所以一般是上传至官方服务器进行操作，而这次SONY的3D Creator实现了：
1.离线可操作；
2.即时生成结果；
3.原画质输出。
上文笔者提到了被隐藏的第4步，密集点云重建，这一步就是非常需要硬件配置的步骤，而3D Creator从完成扫描到生成表面仅用了数秒钟的时间，即使它是边扫描边生成，但就单靠手机本身处理器而不上传服务器进行操作而言已经令人惊叹——大F牛。
最后又到了举个例子的时间，虽然笔者没有Xperia XZ1等可以运行3D Creator程序的手机（有大神提取了3D Creator，部分其他品牌手机可运行，很遗憾笔者的手机不行），但是笔者找到了一款类似的手机App——trnio。它就是完全按照上文路子走的，拍照，上传服务器，然后生成图像预览。（感谢IOS11的录屏功能）
可以看到，为了加快计算进度，照片都是要上传至专用服务器进行处理的，而且也要耗时数分钟（太久了...笔者等了半天去做了点事就忘记了），成像质量也不如人意，相比单机完成的SONY 3D Creator逊色很多。
所以，一件事物出现的时候是一个记录点，能够用精用好又是另一个记录点，而不应该用炒冷饭来相提并论。比如说ARKit将虚拟物体牢牢定位在现实画面而不“漂移”，又比如3D Creator将简单易用的3D扫描推向大众，这些都是值得大家注意并兴奋的事情，世界就是这么在你不经意的时候变化了。
话说APPLE提升了AR的观看体验（体会下IOS 11之前IOS 10下AR影像上天的过程）
SONY又简化了用户的3D虚拟重构过程（就像微博里大量的360°全景照一样，往后AR资源可能有很大一部分也会来自用户拍摄），两位大佬要不要那个啥一下。
关注官方微博 微博
关注官方微信
Copyright © 1996-2024 SINA Corporation, All Rights Reserved 新浪公司 版权所有
