面向 VR 的绿屏混合现实视频制作分步指南
虚拟现实 (VR) 可为佩戴头盔的玩家提供丰富多彩的游戏体验，但我们很难分享这种体验。第一人称玩家视角的视域非常有限，而且跳动比较突兀，导致不佩戴头盔的观众无论是现场观看游戏屏幕，还是观看预先录制的视频，都无法获得令人满意的观看体验。
绿屏混合现实视频是一种创新技巧，能够有效地带领外部观众走进 VR 世界。具体方法是展示涵盖玩家和游戏环境的第三人称游戏视角，创建极具沉浸感的 2D 视频解决方案。如果想展示 VR 体验，以在竞争越来越激烈的市场脱颖而出，VR 开发人员一定要使用要求严苛但效果惊艳的大型任务处理。
图 1：Kert Gartner 为 Job Simulator* 制作的混合现实预告片截图。
开发人员或 YouTube 视频制作人员都可以使用这项技巧，它既能用于现场活动和在线流媒体播放，也能用于预告片和视频。去年，英特尔开发人员关系部门的 Josh Bancroft 和 Jerry Makare 在公司内部协作使用这项技巧进行了活动演示，不仅与现场其他人员建立了关系，而且锻炼了技能。本篇分步操作指南将和大家（VR 开发社区）分享有关知识，并帮助大家以最恰当的方式向观众展示令人惊叹的创意。
图 2：2016 年东京电玩展上使用绿屏混合现实技术沉浸在 Circle of Saviors* 中的角色扮演玩家。
本篇指南将重点介绍 Josh 和 Jerry 有着最丰富经验的工作流 — 如何处理在 Unity* for HTC Vive* 中构建的 VR 游戏，包括使用用于启用混合现实的 SteamVR* 插件；用于校准的 MixCast VR Studio*，以及用于色度键、合成和编码以便流传输和/或录制的 Open Broadcaster Software* (OBS)。重新创建该技巧的方法，以及用于重建流程各个阶段的其他硬件和工具有很多，本指南引用了其中几种。
本指南内容如下：
硬件：大致推荐处理大型任务所需的物理套件，包括 PC、VR 头盔、摄像机、镜头、视频捕捉、工作室空间、绿色屏幕和灯光。
软件：推荐所需的软件，包括支持 VR 应用本身、游戏和物理摄像机校准、捕捉与合成软件，以及面向流媒体传输和/或录制的编码软件。
分步：执行起来比较容易的阶段包括校准、合成、编码和录制阶段。
资源：本指南中还提供了有关其他信息和资源的链接，以便大家了解制作 VR 游戏混合现实视频的所有知识。
硬件步骤
重中之重：PC 硬件
执行混合现实视频大型任务时，最常见、最便捷的设置要求两台功能强大的 PC — 但使用一台基于英特尔®酷睿™ X 系列处理器产品家族，以及 12 核以上的英特尔®酷睿™ i9+ 处理器的 PC，效果相同或更好。更多的内核可为 PC 提供充足的处理能力来处理 VR 游戏、混合现实渲染和捕捉，以及面向高质量录制和/或流媒体播放的编码。
VR 应用必须在其他进程占用大量空间的情况下（后续详细解释）顺畅运行；也就是说，在游戏内生成第三人称视图，并执行现场视频捕捉与合成。为了避免延迟，建议在同一台设备上运行 VR 应用和执行捕捉与合成。
在双 PC 设置下，第二台设备接收第一台设备传来的合成视频信号、依次捕捉，并执行编码任务以支持流媒体播放和/或录制。从处理的角度来说，这项任务相对比较繁重，因此编码能力越高，结果质量越高。因此我们选择使用英特尔酷睿 X 系列处理器的其他内核。
实施进程的方式取决于可用的硬件，而且可以灵活管理负载平衡。但如果需要将工作分布于多个系统，我们发现最高效的方法是尽可能均匀地分布。
后台组件：VR 硬件
当然，关键的组件就是 VR 头盔以及随附的传感器。在本项目中，我们使用 HTC Vive 硬件，因为支持制作这种 VR 游戏混合现实所需的大量工作都内置于 SteamVR Unity 插件，而且许多内置于 Unity 的 Vive 游戏仅适用于这一进程。关于支持 HTC Vive 混合现实的实用资源，请访问 Steam 开发人员论坛。
Oculus Rift* 新增了支持第三人称、混合现实捕捉，但本文撰写之际，开发人员需要编程以便该游戏支持混合现实。相关文档可从 Oculus 网站下载。
传感器非常关键 — 但同等重要，因为还需要在物理摄像机上安装一个用于混合现实流程的传感器。HTC Vive Tracker* 非常适合，也可以使用第三个 Vive 手持式控制器。
图 3：SteamVR* 必须看到第三个控制器（左下方）以便混合现实功能运行。
为此本指南中使用的是 HTC Vive 硬件。
实景真人：视频捕捉
混合现实流程涉及用摄像机拍摄玩家，生成的视频信号馈送至 PC 进行合成。至少按照符合最终视频要求的分辨率和帧速率捕捉视频。高质量视频最好为 1080p，每秒 60 帧。
捕捉现场视频时，高质量摄像机（比如数码单反相机 (DSLR) 或无反相机）的效果最好。可以使用譬如 Magewell、Elgato、Blackmagic Design 等公司的 USB 或外设组件互联 (PCI) 高清多媒体接口 (HDMI) 捕捉设备，插入 USB 3.0 端口或 PCI 插槽，还包含可插入摄像机的 HDMI 端口。这样外部摄像机就相当于合成软件的网络摄像机。
还有适用于 PCI 插槽（我们之前用过，包括 Blackmagic 等）的内部捕捉卡。不过，它们需要较多的驱动程序，还会占用 PC 空间和匹配时间。而且它们不适用于笔记本电脑。
支持最终视频要求的最低分辨率和帧速率并在所选的合成软件中显示的所有视频捕捉设备（包括常规网络摄像机）都适用 — 但高质量摄像机的效果更好。
其他要求使用的硬件为 4K 显示器。下文将进行介绍，台式机上渲染的窗口为四分窗口，每次只捕捉和录制四分之一。之后，这些四分之一将变成经合成以创建最终混合现实视频的层。为了制作分辨率为 1080p 的最终视频，台式机的全分辨率至少是四倍，即最低为 4K。可以使用分辨率较低的显示器，但记住，混合现实视频的最终输出分辨率为四分屏幕窗口渲染大小的四分之一。
在工作室中：
设置空间
工作室的空间必须大于仅用于玩 VR 的空间。Vive 所需的最小空间大约为两平方米，还需另外的空间方便物理摄像机自由移动。
必须在该空间中搭尽可能大的绿屏。从理论上来说，在玩家身后搭一块绿屏就行，但这会严重限制摄像机的拍摄角度。摄像机的拍摄角度不能超出绿屏，因为会显示屏幕之外的空间，还会破坏混合现实的幻想。
最理想的情况是，绿屏围住其中的三面墙，不过这取决于空间的大小以及所使用的屏幕支架。
我们使用了多种配置，有一种适用于多种演示的便携式解决方案是 Lastolite* 全景式背景，它可以打造 4 米宽、2.3 米高，包裹住三面墙的绿屏空间。
除了表面覆盖，另外需要注意的一点是，屏幕材质必须平整，避免导致出现阴影的褶皱，而且照明必须尽可能均匀（下文详细介绍），因为这些因素会影响色度键滤波器是否能够消除玩家背后的绿色。
良好的拍摄效果：摄像机规格
摄像机的使用比较灵活，取决于你能访问的设备，但必须尽可能使用质量较高的摄像机。摄像机必须有 HDMI 输出，并能按照你的分辨率和帧速率需求（最低 1080p，每秒 10 帧）进行拍摄。所有支持视频功能的优质摄像机都可以 — 比如 DSLR 或无反相机、便携式摄像机，或者最理想的专业摄像机。
我们使用的摄像机包括全帧型无反相机 Sony a7S*、专业 Sony FS700* 摄像机和 Panasonic GH5*，不过其他品牌和型号的摄像机性能也很好。但是，如果追求高品质拍摄效果，便宜的网络摄像头可能无法实现。
更好的拍摄效果：摄像机和跟踪器定位
在这一过程中，需要第三个 VR 控制器或跟踪器牢固地装在摄像机上，安装后它不会移动到摄像机对面，因为这样会断开校准。由于其形状和方便拿握的设计，安全连接控制器可能会出现一些问题。我们用了很多巧妙的方法将控制器固定在摄像机上，包括强力胶带、夹具以及能够从控制器中心孔穿过的定制装配工具，还使用了大垫圈、橡胶垫片和长螺栓来确保其稳定性。更新、更紧凑的Vive Tracker可以让这一流程更简单，随附的便宜靴架可以轻松、牢固地装在摄像机机身上。使用冷靴架还可将跟踪器和摄像机镜头的中线对齐，这样有利于校准。
图 4：Vive Tracker* 的下方有一个标准 ¼” 20 螺旋接头，方便安装。
开始校准阶段（后续介绍）之前，必须使安装在三脚架上的摄像机和连接的跟踪器保持水平。这里有一个实用的技巧，就是使用智能手机上的内置罗盘/气泡水平仪（如有）。将智能手机放在跟踪器或摄像机顶部，它可以告知摄像机各个方向的偏离度数，可以经过简单调节使相机保持水平。在校准阶段一开始保持摄像机和跟踪器的水平可减少后续对三个位置（X、Y 和 Z）和三个转动（rX、rY 和 rZ）轴的调节，同时可以使校准更简单、更准确。
校准过程完成，以及物理和虚拟摄像机进入锁步模式之后，物理摄像机可在绿色空间范围内自由移动，包括从三脚架上取下来。只要跟踪器和摄像机不彼此相向移动，就可以随意移动摄像机，而且将在 3D 空间中跟踪该摄像机，就像 VR 中的双手。想要获得专业的拍摄效果，建议手持摄像机时使用稳定器。如果没有稳定器，将摄像机放在三脚架上并依靠针对摄像机移动的水平和垂直规划，这样拍摄效果更好。记住，摄像头的视域必须始终在绿色屏幕范围内。
最好的拍摄效果：镜头和焦距
焦距和镜头是其他必须考虑的重要因素。16 毫米或 24 毫米广角镜头的焦距较短、视域较宽，意味着摄像机必须更靠近主体，因此会增加发生碰撞的风险，而且视域会意外滑出绿屏区域。
但是，焦距较长（比如 70 毫米变焦镜头）意味着视域较窄，因此需要距离玩家较远，以保证他们始终在画面中。如果空间有限，这样可能不太适用。使用最佳镜头和焦距取决于可用的空间、绿屏的范围、拍摄的玩家数量，以及拍摄方式（静态摄像机还是手持）。对于大多数情况来说 70 毫米镜头可能过长，而且可能你想坚持使用 24 毫米或 28 毫米镜头。
尤其当你使用焦距可以调节的变焦镜头，最重要的一点是，必须在校准完成后保持固定的焦距。改变焦距（放大或缩小）可能会断开校准，导致虚拟摄像机和物理摄像机不再对齐，你不得不重新开始。记住这点，使用焦距固定的镜头是最稳妥的做法。
聚光灯下：灯光
在灯光方面，目标是均匀地照射主体和绿屏，避免出现刺眼的阴影或色度键上显示的灯光出现明显不同。如果可能，设置三个灯光是最理想的：一个照射主体，另外两个照射主体背后的绿屏 — 一边一个，以最大限度地减少阴影。可以根据具体条件减少灯光的使用。发光二极管 (LED) 面板灯比较好 — 便携，不像钨丝灯或卤素灯那样产生过多热量，这样玩家会感觉更加舒适。
图 5：2017 年 5 月台北国际电脑展英特尔的设置（包括在框架上搭的绿屏（覆盖三面墙）、地板和两个荧光面板灯）。
务必检查空间中现有灯光的频率不会造成摄像机图像过度频闪，尤其是当你依靠环境光（而非自带灯光）的时候。有些 LED 灯光和其他频率一定的灯光会发生这种情况。唯一的办法是在空间中测试一下，才知道是否存在这种问题。
软件步骤
软选择：VR 应用
从软件的角度来说，第一个关键是游戏支持混合现实。也就是说，允许在游戏中实施和定位另一个第三人称摄像头，而且能够输出一个象限图（由在游戏中以第三人称视角提取的独立背景层和前景层所组成）。该象限图可使用物理摄像机进行合成和校准，支持整个混合现实流程。
内置于 Unreal Engine* 的游戏支持混合现实，而且也可以编码自己的工具，像 Croteam 对 Serious Engine* 的操作那样，该游戏支持整个混合现实流程，包括捕捉与合成。大家可以观看 此处 Croteam 的教程视频，了解他们如何在其 VR 游戏中创建混合现实视频。
不过我们指南的重点是介绍流程，因为它与使用 SteamVR 插件（可自动支持游戏创建混合现实视频）的（内置于 Unity for HTC Vive 的）游戏相关。
软操作：校准
要想混合现实正常运行，必须能够校准物理摄像机和虚拟摄像机之间的位置偏移。可以手动调整偏移值，并通过测试和纠错进行校准，但这一过程非常痛苦。我们主要使用 MixCast VR Studio对齐和校准游戏和物理摄像机，我们稍后将详细介绍这一关键过程。
软结果：合成与编码
我们使用 OBS Studio*进行合成与编码，以支持录制和/或流传输。OBS Studio 是一种拥有良好支持的开源软件，被广大视频创建人员和流传输人员所采用。也有其他的解决方案比如XSplit*，但 OBS Studio 能够实现本指南的目的。
分步操作
进行校准之前，我们首先总结一下之前的步骤，以及接下来的步骤。一台 PC 运行 VR 应用、视频捕捉与合成、另一台 PC 处理面向录制和/或流传输的编码（如果采用英特尔酷睿 X 系列处理器家族，仅一台 PC 就可完成所有任务）。在工作室内搭建了一个较大的绿屏，以及一台固定有跟踪器或控制器，且完全处理水平状态的摄像机。
我们所使用的 VR 应用支持混合现实（比如使用 SteamVR 插件内置于 Unity），实施另一台游戏内第三人称摄像机，并输出象限图（包括前景层和背景层）。然后运行捕捉与合成软件。
接下来是校准游戏内和物理第三人称摄像机，以便它们在合成阶段处于完全水平状态。这样有利于我们拍摄玩家，让游戏内摄像机精准地跟踪物理摄像机和玩家的手部运动（并延伸一下，跟踪玩家在游戏中手持的物品或武器）。这样我们可以准确组合游戏和真实世界的视频层，并创建令人信服的混合现实。
摄像机校准
开始校准之前，最好返回去仔细检查摄像机和固定的跟踪器是否处于完全水平状态。在校准过程中，玩家（或替身）站在摄像机前，手持控制器。这个人应该保持水平，也就是说应该笔直地站在摄像机前，抬头挺胸，以便对齐并处于摄像机视图中线的中央位置。
这一点很重要，因为你进行调整时，可以更改六个点：X、Y 和 Z 的位置以及 X、Y 和 Z 的旋转。调整对精准度要求很高，但如果你知道摄像机保持水平，以及玩家笔直地站在摄像机中线上，你可以将部分偏移值最小化使它们接近 0，之后就不再需要调整。这样有助于顺利地进行拍摄。
在对齐游戏内摄像机和物理摄像机时，我们使用 MixCast VR Studio 进行校准。启动软件，确保软件能够看到物理摄像机，并使用下拉菜单检查它是否知道哪台设备是跟踪物理摄像机的第三个控制器（固定在摄像机上的 Vive Tracker 或控制器）。开始之前，还需要一个人佩戴 VR 头盔站在游戏空间中，一手拿一个控制器。
快速设置
接下来启动 Quick Setup流程，它将带你完成整个校准过程。为你提供 VR 应用所需的 XYZ 位置、XYZ 旋转和虚拟摄像机的视域值，以便与物理摄像机对齐。
图 6：在 MixCast VR Studio* 中选择 Quick Setup，以开始校准过程。
第一步是拿起一个手持式控制器，将圆环放在物理摄像机的镜头上，使两者尽可能地靠近对齐。点击控制器上的侧键进行注册。
图 7：校准第一步是对齐物理控制器和物理摄像机。
接下来，该工具将十字准线投影在屏幕的角落中。将手持控制器移到圆环的位置以便它和十字准线的中心位置对齐，然后点击按钮。
图 8：设置流程最初在屏幕相对的角落提供两个十字准线用于对齐。
一开始要在屏幕中左上角和右下角两个位置的十字准线对齐。完成之后，可以点击 Plus 按钮增加十字准线，以提高精准度。
图 9：点击 Plus 按钮会出现更多十字准线以提高精准度。
我们发现最佳的数量是 4 个十字准线。两个不够，超过四个也趋向于 off。四个十字准线覆盖屏幕的四个角。
图 10：完成四角对齐操作。
这时已经完成了粗略的校准。大家会看到虚拟手持式控制器正在跟踪物理控制器的大体位置。之后使用屏幕下方的其他细化控制调整摄像机位置和旋转，让它们尽可能地靠近。
图 11：控制 XYZ 位置和 XYZ 旋转，微调摄像机的位置。
微调
微调手部对齐时，VR 中的人将手举在身体两侧，以便大家看到真实控制器顶部所绘制的虚拟控制器。如果虚拟控制器和物理控制器隔得较远，需要稍微回拉一下虚拟摄像机，以便将绘制的控制器拉近一点。为此，VR 中的人需要点击箭头调整摄像头位置。
图 12：显示 VR 绘制的手持式控制器与真实控制器未对齐。
图 13:调整之后绘制的手持式控制器与真实控制器结合得更加紧密。
每点击一次都会在想要的方法出现明显的微小移动。最好记录下点击数量，以免移动过量需要返回，否则需要撤销操作。接下来在空间中移动控制器，看上下是否对齐。
图 14：摄像机对齐后，点击选择目录确认设置。
可以拿着手持式控制器静止不动使其完全对齐，然后移动到别处看看对齐是否断开。可能出现一个位置对齐另一位置不对齐的情况，这意味着需要进行更多地微调。这是一个迭代过程 — Josh 将它描述成一个六维魔方，需要在拼好一面的同时不将其他的面打乱 — 但通过详细的试验和纠错，最终可以将它们完全对齐。
虚拟控制器和物理控制器对齐后，还需要检查游戏中使用的其他物体是否也对齐，包括武器、太阳镜和皇冠。操作这些物体确保所有物体都对齐。
图 15：MixCast VR Studio* 中用于对齐的所有物体。
图 16：手持鼓槌检查控制器是否对齐。
皇冠尤其适用于检查玩家佩戴 VR 的头部是否对齐。玩家将皇冠戴在头上，然后调节摄像机位置和旋转，直至皇冠位于最中间并保持水平。
图 17：使用皇冠检查摄像机对面的玩家头部的精确对齐和位置。
摄像机配置
校准完设置的对齐值并准备开始的时候，也可以用相同的方法将这些值用于任何 VR 应用。需要通过 MixCast VR Studio 将 XYZ 位置、XYZ 旋转值，以及视域值保存为 externalcamera.cfg 文件。
图 18：externalcamera.cfg 文件显示校准之后需要保存的 XYZ 位置、XYZ 旋转和视域值。
对于这种 Unity/SteamVR 混合现实方法，必须首先满足两个条件，才能触发合成混合现实视图所需的四分屏幕。第一个条件是第三个控制器或跟踪器必须插入并进行跟踪。第二个条件是所使用的 VR 应用的可执行文件的根目录中必须显示 externalcamera.cfg 文件。
图 19：确保 externalcamera.cfg 文件和 VR 应用可执行文件保存在同一个根文件夹中。
启动游戏
现在可以启动所使用的 VR 应用创建混合现实视频。如果是 Unity游戏，按住 Shift 键同时启动可执行文件，将弹出一个窗口供你选择启动时的分辨率，以及是在窗口启动还是全屏启动。
这时，需要指定应用必须以 4K（以便四分窗口的每一部分都是高清 1080p）的分辨率运行，而且必须全屏运行，而不是在窗口中运行（取消选中窗口方框，并从列表中选择 4K 分辨率）。然后当你启动应用时，它将打开以 4K 分辨率运行的四分桌面窗口视图。
图 20：Rick and Morty: Virtual Rick-ality* 四分桌面视图示例。
这一四分视图包含以下象限：游戏背景视图（左下）；游戏前景视图（左上）；游戏前景 alpha 遮罩（右上）；和第一人称头盔视图（右下）。
合成
在本指南中，我们使用开源 OBS Studio软件进行合成。开始之前，确保屏幕上有一个四分视图。第一步是捕捉背景层，即左上方的象限。在 OBS 中添加一个“Window Capture”类型的新 Source。选择 VR 应用窗口。将该源重命名为 “Background”。接下来将 Crop Filter 添加至该源（右击 Background 源，Add Filter，Crop/Pad），将屏幕上不想捕捉的部分裁切掉。裁切值的单位是像素，表示从四个边裁切的窗口大小。因此，为了捕捉左下方的背景层象限，使用的值分别为顶部 1080 和右侧 1920（记住，在 4K 3840 x 2160 分辨率下，这相当于每个维度的一半）。
图 21：输入裁切值之前，裁切过滤器显示四分视图。
图 22：输入裁切值之后，裁切过滤器只显示左上方的象限（背景视图）。
应用裁剪过滤器后，它将出现在预览窗口中，但不会占据整个屏幕。右击该源，选择 Transform，并选择 Fit to screen（或使用 Ctrl+F 快捷键）。OBS 中合成图像的每一层都必须是全屏，因此每一层都这样操作。
色度键
有了背景之后，需要对物理摄像机视图进行同样的操作，并剔除绿色背景，留下可以叠加在捕捉的游戏背景上的玩家。
图 23：在 OBS* 中确定物理摄像机的源。
添加新的 Video Capture 源。选择摄像机捕捉设备，并将这一层命名为“Camera”。应该能看到摄像机视图。接下来右击该源，前往过滤器，并选择"Chroma Key"。
图 24：在 OBS* 中选择色度键过滤器。
图 25：选中 Chroma Key 后，绿色背景将消失，可使用滑动条微调。
可以在色度键设置下调整滑动条，直到人物在背景中清晰起来，绿色背景完全消失，但不会擦掉人物的任何部位。通常使用默认值就好，而且只需要稍作调整。这就是灯光均匀的好处。如果改动过大，色度键过滤器可能会搞砸，通常可以删除过滤器，重新添加重新打开。
图 26：临时测试合成，减去前景层，显示站在游戏背景顶部的人物。
如果看起来还不错，定位到预览窗口中的“Fit to Screen”，并确保在 Source 列表中 Camera layer 列在 Background layer 之前（表示摄像机层在顶部渲染）。这时大家应该可以看到 VR 背景下的摄像机视图。
前景
接下来按照和背景层相同的流程处理前景（左上象限）。添加一个新的窗口捕捉源，捕捉象限视图并应用裁切过滤器 — 这次按照右侧 1920 和底部 1080 的像素裁切，以隔离左上角象限。用“Fit to Screen”的 Ctrl+F 快捷键确定大小，确保其充满整个预览窗口。将该源命名为“Foreground”。
图 27：裁切前景视图。
前景层显示玩家和摄像机之间的物体（因此应在现场摄像机视图的顶部渲染）。需要屏蔽掉前景视图的黑色部分，以使背景层和摄像机层透过来。右击 Foreground 源，并应用“Color Key”过滤器。
图 28：选择 Color Key 过滤器删除前景视图中的黑色区域。
OBS 将询问该键使用哪种颜色，这里有一个自定义颜色选项。进入颜色选择器，选择黑色。当然，你还可以设定值，选择十六进制值 #000000 形成纯黑色。这样将使黑色部分变得透明，从而前景对象在其它层的前面。
图 29：选择色度键十六进制值 #000000 形成纯黑色。
图 30：应用色度键之后的前景层，黑色区域已消失。
右上方的象限为 alpha 遮罩，可用于前景层，但使用起来比较复杂。如果前景层包含你不想让其变成透明的纯黑色元素，可使用 alpha 遮罩来操作。alpha 遮罩的设置不在本指南介绍范围内，大家可以访问OBS 项目论坛了解相关信息。
合成图像
完成背景、摄像机和前景源过滤之后，按照正确的顺序（首先过滤前景，然后是摄像机，然后是背景），大家应该能够看到实时混合现实视图。
图 31：由游戏、背景、玩家和前景组成的最终合成图像。
有了混合现实源之后，大家可以在 OBS 中进行其他创作。例如，可以设置在混合现实视图和第一人称视图之间切换。这样有利于显示两种视图的差异，也可以用于流传输或录制阶段，更改观众所看到的内容。
还可以设置选择另一个源，以显示另一台摄像机，这种方式可以用于例如托管现场流传输，并想要转向指向主机的摄像机的情况。还可以根据需求在 OBS 工作流中添加不同的图形或流媒体插件，这也是为流媒体工作人员和 YouTube 视频制作人员提供的重要功能。
解决延迟问题
OBS 中可能会发生延迟问题，原因是不同视频源之间的每秒帧数不匹配。如果出现这个问题，首先确保桌面捕捉（视频下方的 OBS 设置中）设为每秒 60 帧。接下来检查摄像机捕捉上的帧速率是否设为每秒 60 帧。最后检查摄像机是否也设为了每秒 60 帧。
我们在演示中遇到过延迟问题，发现其中一台摄像机设的是每秒 24 帧。设为每秒 60 帧之后立刻解决了这一问题。可能你的设置无法处理超过每秒 30 帧的情况，没有关系；如果是这种情况，请注意所有的设置都必须是每秒 30 帧。
视频输出
最后一个阶段是提取混合现实视频信号并进行编码，以支持录制或流传输。如果是双 PC 设置，一台 PC 进行捕捉和合成，另一台 PC 处理录制或流传输编码。如果使用一台搭载多核英特尔酷睿 X 系统处理器家族的 PC，它应该能处理所有任务，包括高质量编码，无需输出至第二台 PC。
如果是双 PC 设置，如果要将信号从第一台 PC 发送至第二台 PC，OBS 有一项叫做 Full-screen Projector 的功能，支持全屏预览。右击预览窗口，可以选择输出至哪台显示器。然后将 DisplayPort* 或 HDMI 线缆插入图形处理单元 (GPU)，以便运行 VR 与合成的计算机认为它是第二台显示器（还可以通过分离器运行，实际上还是在第二台显示器上）。
使用第二台具有相同 1080p/每秒 60 帧功能的 USB HDMI 捕捉设备（或 PCI 卡）将信号发送至第二台计算机。同样在第二台计算机上运行 OBS，并设置一个包含一台视频捕捉设备（USB HDMI 捕捉框）或 PCI 卡的简单场景。然后在第二个系统上设置所有录制和流传输质量设置。
大家同样可以在第二台计算机上为视频输出添加其他细节，比如用户告警或图形。切换场景时，在两台设备之间进行切换比较复杂。例如，你需要在第一台计算机上完成第一人称视图和第三人称视图之间的切换，同时管理在第二台计算机上运行的大量其他操作。
编码
OBS 输出设置默认情况下设为简单，即使用相同的编码器设置进行录制和流传输。必须设为高级模式，才能分别调整流传输和录制的设置。
通常可以选择使用 GPU 或 CPU 进行编码。如果使用一台 PC 完成所有任务，我们建议使用 x264 CPU，因为 GPU 编码器会对 VR 体验的帧速率造成负面影响，不管是 VR 中的人物还是桌面前的操作人员。
使用 x264 CPU 编码器还可以充分利用 CPU 硬件的扩展功能，如果使用 12 核或 18 核英特尔酷睿 X 系列处理器家族，可以把质量设置调的特别高，因为它使用 CPU（而非 GPU）进行编码，这样能够提高最终视频的质量。
流传输
进行流传输时，码率取决于网络提供商的上游带宽以及流传输提供商支持的码率。例如，Twitch* 的码率限制在 6 MB 左右，因此在 OBS 中选择每秒 6,000 KB 的码率。最好使用流传输提供商和网络提供商能够处理的最大流传输码率。如果网络速度较慢，或者只想降低质量，可以将流传输码率降至每秒 4,000 或 2,500 KB。
图 32：OBS* 中的流传输设置。
我们还需要考虑关键帧间隔，将默认零 (0) 自动设置改为 2 秒。其他设置包括设为固定码率，以及为 CPU 用途预设选择中等。这样将支持你流传输高质量视频。
录制
录制编码器设置除了码率（调的更高）之外大体相同。如果在 Twitch 上流传输，需要每秒 6MB 的码率；如果是录制，最大可为每秒 20 -100 MB（取决于系统）。功能强大的系统（比如英特尔酷睿 X 系列处理器家族）的确能够显著提高视频质量 — 但如果码率设的太高，将很难管理和控制文件大小。
需要试验不同的码率值，以在质量和文件大小之间找到最佳的平衡点，同时不造成编码器过载。从较低的码率（大约 15 MB）开始，然后使用整个混合现实堆栈运行测试录制。CPU 的使用情况随具体情况的不同而有所差异，因此需要观察 OBS 上状态条和 Stats 窗口，看是否出现编码器过载或帧数下降等警告。如果没有出现警告，系统可能能够处理更多。如果想要系统处理更多，可以暂停录制，将码率提高一点。
图 33：OBS* 中的录制设置。
精彩回顾
要想顺利完成 VR 绿屏混合现实视频的制作过程，必须进行大量的测试和纠错，一旦搞定了，结果将会非常令人满意。我们不可能在一篇指南中列出所有的可能性；但我们的目标是帮助大家掌握其中所涉及的相关知识，并能够尝试制作自己的混合现实视频。期待大家成功制作出混合现实视频。