T1设备及混合现实基础认知
T1基础认知
T1 是一个混合现实硬件和软件平台,它使开发人员和用户能够在三维 (3D) 全息环境中与计算机生成的对象进行交互,通常被比作虚拟现实 (VR) 或增强现实 (AR)。然而,混合现实 T1 体验的最大区别在于,它可以舒适地放在您的桌面上,并且不需要用户佩戴任何头戴电子设备。
以 3D 形式观察物体和场景是一种非常自然且高效的方式,来了解我们周围世界的复杂空间关系。T1 以我们观察世界的方式呈现计算机生成的图像。这创造了视觉刺激,并使用户立即理解了复杂的结构,而这些结构在传统的 2D 屏幕上是无法实现的。
立体影像简介
三维 (3D) 成像自 1840 年左右开始通过立体摄影技术出现。在这种方法中,双镜头相机(代表人眼)捕捉场景中独特的、偏移的左眼和右眼视角。在观看由此产生的立体图像对时,每只眼睛都会接收到自己的左眼或右眼视图,大脑会从捕捉到的瞬间重现空间视图。由此产生的 3D 图像让观看者感觉自己仿佛是场景的一部分。

T1 不仅让我们能够看到动态的 3D 图像,还让我们能够环顾数字生成的场景并与物体进行交互,就像在现实生活中一样。这种实时 3D 体验是一种独特而自然的查看计算机生成图像的方式。

人类视觉
人类的两只眼睛都向前看,我们与所有需要高精度判断距离的狩猎动物都拥有同样的设计。我们两眼之间的距离称为瞳距。这个距离可以从大约 45 毫米到 75 毫米不等,但平均约为 65 毫米或 6.35 厘米。
同时用双眼看东西的能力称为双眼视觉。

这种分离使得我们的两只眼睛能够以略微不同的视角来观看世界。我们的大脑会比较左右眼的差异,以了解眼前视野的空间复杂性。

立体视觉是感知单个图像的三维空间能力。
立体视觉或一般视觉的另一个关键方面是,当您移动头部时,视图会发生变化。例如,在桌子上排列两个物体,例如两个咖啡杯,一个在另一个后面。将头部向左和向右移动,您会注意到后面的咖啡杯会随着视点的变化而出现和消失。从一个头部位置到下一个头部位置的视角差异称为运动视差。运动视差的另一个方面是远处的物体似乎比靠近您的物体移动得少。如果没有运动视差,您可能会出现认知失调,导致疲劳和不适。

我们还通过与 3D 世界的物理互动来获取有关它的线索。了解身体的位置称为本体感受。伸手去触摸咖啡杯。你伸手去拿第二个咖啡杯。这个动作既加强了你的深度感知,也加强了你对两个物体相对位置的理解。
虽然我们可以看到左右两边的远处,但只有视觉系统的中心可以看到 3D 效果。由于我们的鼻子部分挡住了视线,所以最左侧和最右侧的区域是非3D效果的。

我们的视觉系统的 3D 区域是空间理解的有力工具。
T1视觉
T1 平台使用计算机图形来生成立体视觉所需的独特左视图和右视图。这个过程是实时发生的,可以即时生成场景的任何视角。这样,用户就可以通过直观地移动身体或使用 T1 触控笔进行手动交互来环顾 3D 物体。结果是重新创建的计算机图形场景的自然、空间真实感让人产生一种参与感。与查看传统的 2D 计算机图形相比,这种空间真实感为理解物体和场景的结构提供了极为出色的视觉体验。

T1 可以创造空间真实感,因为它可以确定观看者眼睛相对于屏幕表面的位置。T1 通过跟踪观看者的眼睛来实现这一点。利用此视点信息,T1 可以在屏幕表面准确地生成正确的立体视角,以从观看者眼睛的特定角度重现 3D 场景。观看的每一刻都是个性化、定制的透视视图。

如果您观察其他人使用 T1,您可以在 T1 屏幕上看到实时生成的复杂视角。会有重影的图像,当您站在T1屏幕之前,会生成立体图像。
相同的跟踪技术用于测量 T1 3D 触控笔的精确位置和方向。这允许用户“握住”和操纵空间中计算机生成的对象,就像它们是真实的一样。
舒适设计:舒适区和分离区
T1 组合空间就像一个由屏幕前后耦合和分离区域组成的舞台。了解每个区域的优点和缺点有助于您最大限度地发挥应用程序的效果。

舒适区
舒适区(也称为耦合区)是舒适的 3D 观看范围,用作 T1 上大多数 3D 场景或应用程序的主要构图空间。舒适区被屏幕表面一分为二。物体舒适区越近,用户长时间观看就越舒适。

可以创建具有超出舒适区的 3D 场景。在舒适区之外添加焦点应受到限制并严格控制。增加的景深要求观看者的视觉系统将会聚焦分离。这可能会导致眼睛疲劳。
背景分离区
背景分离区可用于将场景的深度延伸到远背景。即使观看者的注意力仍停留在舒适区内,作为外围深度的深背景也可以为任何场景增添广阔感。深空或远山可以从分离的背景区中受益。如果高对比度区域显示重影,请避免使用。大多数人可以在短时间内观看非常深的背景。

前景分离区
前景分离区是 T1 区域中最具吸引力的区域。它允许对象在空间中漂浮,脱离屏幕表面的正常约束。这是任何 3D 体验的“WOW”时刻。许多人将 3D 与这种“出屏”效果联系起来,并在观看 3D 时期待这种强大的出屏效果。应用程序应通过惊喜来提供这种效果,或者鼓励用户在自己的控制下将对象拉向屏幕前。无论哪种方式,出屏 3D 的持续时间都应保持相对较短,以避免眼睛疲劳。

显示分离区域中的对象
分离区是指上图中舒适区以外的任何区域。随着分离度的增加,3D 效果也会增加,但眼睛疲劳也会增加。在某个点上,3D 幻觉会完全消失,因为观看者无法将立体对的两个图像融合在一起。每个人的这个极限都略有不同。
分离区可用于实现短时间的醒目 3D 效果。如果分离深度仅包含填充场景但不需要集中注意力的外围物体,您也可以使用此区域。在这种情况下,观看者应保持聚焦在舒适区内,同时欣赏其外围视觉中的极致深度。

如果观察者能够控制深度,那么直接观察分离的物体就不会那么麻烦。T1 允许观察者完全控制物体。例如,观察者可以将物体移动到远离舒适区域的极近距离位置。在 T1 上,这不是问题,因为观察者可以在检查物体时选择自己可接受的分离程度。如果观察者感到不适,他们自然会通过将物体返回舒适区域来减少深度。
使用 2D 显示器无法创建极致 3D 效果,而这是 T1 最引人注目的方面之一。除非有意制造视觉冲击,否则在舒适区之外观看 3D 时,观看者应始终能够控制。如果观看者无法控制应用程序的深度,则舒适区应是主要目标,并且可以根据需要谨慎使用极致 3D。
**术语:**前景分离区有时被称为负视差区,而背景分离区有时被称为正视差区。在此用法中,零视差是指物体恰好出现在显示器表面,其中镜头视角的焦点和人眼的焦点正好匹配。
窗口裁切
当前景物体与显示器边框的垂直边界重叠时,窗口裁切让人感到不适。任何立体图像的边界都会在空间中创建一个虚拟窗口。物体可以出现在“窗口后面”,也可以出现在前面,“穿过窗口”朝向观看者。T1 的立体窗口由显示器的黑色边框形成,位于屏幕表面。
观看边框或窗口后面的物体不会让人产生不适感。只要位于屏幕中央并避免碰到窗口边缘,窗口前面的物体也不会让人产生不适感。一旦比屏幕更近的物体碰到窗口边缘,就会产生让人不适的视觉效果。我们的大脑很难理解为什么前景物体会被窗口裁剪掉。人脑中形成的图像看起来就像被窗户切成了两半。

顶部和底部窗口裁切并不严重,因为我们的眼睛是水平排列的,只能从垂直方向看到立体数据。左侧和右侧边缘裁切可能会令观察者感到不适,通常应避免。
幸运的是,T1 系统允许用户通过简单地将对象移离边缘或物理地移动其视点来轻松修复任何瞬时窗口裁切。在移动场景中,窗口违规造成的干扰大大减少。对象可以舒适地漂浮在屏幕前,穿过立体窗口并消失而不会造成问题。只有当对象停在边缘上时,一半被遮挡,一半可见,它才会成为真正的干扰,从而导致眼睛疲劳。
重影
有时,一只眼睛所看的图像会从另一只眼睛所看的图像中接收一些不必要的光线,从而产生模糊的重影,这种现象称为重影。重影的产生是因为3D 系统无法完全分离立体图像所对应的左视图和右视图。重影在高对比度、高度分离的图像中最为明显。黑色天空远处背景中的一轮明月可能会产生重影。

如果高对比度物体位于屏幕表面,重影就会消失,但这也可能会消除 3D 效果。降低场景的整体深度对重影帮助不大,应避免将其作为解决方案。消除 3D 效果是最后的手段。
避免重影的最佳方法是进行精心的艺术设计。降低有问题的物体的对比度、柔化边缘和增加周围纹理都有助于最大限度地减少重影的负面影响。

要消除重影,请遵循以下准则:
- 避免使用强烈对比的颜色、色调、值和图案。
- 不要对物体或背景使用纯黑色或纯白色。
- 使用纹理和可变亮度而不是纯色。
- 尝试将物体的平均颜色值与背景的平均颜色值进行匹配。
纯色物体旁边的图案可能会出现重影。此外,均匀照明的几何图案也容易出现重影。过渡柔和的图案效果最好。
请注意,零视差下的左眼图像和右眼图像会叠加呈现,因此不会出现重影。虽然零视差下可以使用更高的对比度,但零视差下物体前方或后方的物体可能会出现重影。此外,如果用户将物体移出零视差,则如果对比度较高,则会出现重影。
有时您无法修改对象以减少重影。例如,您的应用程序可能展示产品;您无法自由调整颜色和纹理。在这种情况下,您需要调整背景以减少重影。
除了重影,用户还可能会遇到闪烁。无论是文本、物体还是边框,细线都有可能导致闪烁。当用户移动头部或物体移动时,线上的像素可能无法显示。高对比度物体的这种情况更为明显。避免重影的准则也可以消除闪烁。
性能要求
为了质量和舒适度,强烈建议针对 T1 的应用程序以不低于每秒 45 帧的速度运行,并且建议通常以每秒 60 帧的速度运行。
与头戴式显示器 (HMD) 等其他形式的虚拟现实相比,T1 对延迟和帧速率的要求不那么严格,它能够在更广泛的系统条件下保持生理舒适和身临其境的体验。尽管如此,为了获得最佳体验,应用程序应尽可能响应迅速(低延迟)和流畅(高帧速率)。