Facebook如何跟踪增强现实和虚拟现实及“相机”如何进入未来技术

Facebook昨天结束了为期两天的F8 2017开发者大会，并宣布了大量新的创新。第一天看到诸如相机滤镜的宣传，以增强其增强现实平台，VR社交空间，以及音乐和游戏与其Messenger应用程序的集成。F8 2017会议的第二天提出了更多的想法，展示了Facebook如何跟踪增强现实和虚拟现实的路径，以及“相机”如何进入未来技术。这是Facebook F8会议第二天发布的所有令人兴奋的消息。

Facebook环绕360摄像头

Facebook扩大了其环绕360摄像机阵容，两款新产品称为x24，其中有24台摄像机，x6配备了6台摄像机。x24和x6提供了更好的虚拟现实体验，因为它可以拍摄六自由度。Facebook表示，使用x24和x6摄像头拍摄的内容将是VR中最为沉浸式和吸引人的内容。新相机基本上让用户从不同的角度观看内容。

Facebook 360 Capture SDK

Facebook宣布推出一款名为360 Capture SDK的新型开发工具包，轻松捕获和分享VR中的个人体验，特别适用于游戏。当前的拼接方法将需要一个捕获每一帧并将其拼接在一起成为一个图像，然后进一步对所有图像进行编码，以便最终的视频也将处于低质量。Facebook最新的工具包使用多维数据集映射技术，可以在所有360个角度捕获环境，将场景拼接在一起，以高分辨率对最终视频进行编码。完成的产品将可以以相同的分辨率在VR耳机上观看，也可以在Facebook上观看360度视频。另请阅读：  F8 2017：Facebook Spaces是Oculus用户的新社交VR平台

建筑8

Facebook宣布了目前正在开发的两个项目，建筑8研究设施。第一个项目包括建立一个将你的想法变成文本的系统。围绕着头脑的想法最终将变成文本，而不需要任何其他的人类功能。该系统的主要目的是帮助人们进行沟通障碍，并可以用于AR。8号楼工作的另一项技术是通过皮肤进行听觉。Facebook说，这项技术将使用一种硬件设备，将通过一个皮肤的声音传输到大脑。

连接性

在连通性方面，Facebook宣布正在努力开发具有低连接性或无连接性的区域的技术。Facebook首先通过毫米波（MMW）技术，每秒80吉比特每秒使用光学交叉连接技术，每秒16吉比特每秒16千兆比特，首先在无线数据传输方面宣布了三项新的记录，每秒80吉比特每秒超过13千米点对点从地面上的一个位置到使用MMW的7公里以外的盘旋塞斯纳飞机。Facebook还宣布了一个称为“Tether-Tenna”的新型“insta-infrastructure”，其中一个小型直升机拴在光纤和电源输入线上可用于在紧急情况下立即恢复连接。

基于AI的相机效果平台

Facebook宣布推出新的基于AI的相机效果平台，它可以“了解您的周围环境，认识人们，地点和事物”。Facebook的AI动力相机能够区分前景和背景，以产生类似DSLR的散景效果。这个功能已经在Apple iPhone 7 Plus中提供，但有什么不同的是，即使对象移动，Facebook的相机也会保持模糊的背景。而在iPhone 7 Plus上，需要保持静态才能使景深效果奏效。另请阅读：  F8 2017：Facebook推出增强现实相机效果开发平台

人工智能360视频流

Facebook宣布推出三项新进展，以加强360视频流技术。第一个是引力预测器，它使用物理和热图更好地预测应该传送最高像素分辨率的位置。Facebook的这个新模式，将VR设备的分辨率提高了39％。在没有热图数据的情况下，Facebook还开发了一种AI模型，可以帮助预测视频中最有趣的部分，同时在VR和非VR设备中进行流式传输。还开发了一种新的编码技术，即使低连接性，也可以将非VR设备上的360视频分辨率提高高达51％。

增强现实

Oculus首席科学家迈克尔·阿布拉什（Michael Abrash）宣布，该公司将扩大现实的道路，这将是透明眼镜“可以显示虚拟图像覆盖在现实世界中”的发展。然而，他提到，这将需要十年的投资来实现AR的这一维度所需的技术尚不可用。Facebook旨在实现“透视增强现实”的世界。