Facebook分享如何测量力反馈手套的感知延迟

  • 时间:
  • 浏览:0

我在共要一年多前加入Facebook Reality Labs(FRL)。我有幸与世界级的专家相互合作,并一齐伟大的伟大的发明最前沿的新技术。遗憾的是,我付出的代价是可否 了再通过博客介绍我的工作。有关我工作的一切都在最高机密。但今天具体情况趋于稳定了变化。

我将介绍我负责的另另一个多多多多软件工程项目。它是如可带来意想可否 了的发现。是什么致使亲们 进行用户研究。这产生了一定的新发现。实际上,这篇博文也不简单介绍了FRL的这一研究。

1. 触觉手套演示

亲们 的另另一个多多多多研究项目是触觉手套。迈克尔·亚伯拉什曾在OC5大会通过另另一个多多多多简短的视频进行了展示:在视频中,一位用户正在穿戴一款触觉手套。在虚拟现实中,系统要能追踪并详细解释她的双手。当她用虚拟手触碰虚拟积木塔时,物理手套将产生触觉反馈。

你这一演示的早期版本中趋于稳定另另一个多多多多问提图片:延迟。音频和触觉反馈明显滞后。用户是手触碰积木塔另另一个多多多多多才始于感到或听到相应的反馈,彼此都在同步实现。

我喜欢优化问提图片。首个任务之一是测量。对于纯粹的软件问提图片,这十分简单。给你发现各种用于分析代码性能的工具。但测量硬件延迟则更为困难。幸运的是,我有先例可否 参考借鉴。

2. 游戏输入延迟

游戏开发商多年来突然在测量输入延迟。“感觉”好的游戏和“感觉”不好的游戏之间的区别没能解释,否则通常难以量化延迟。

输入延迟是另另一个多多多多简单的概念。从按下按钮到马里奥始于跳跃,这期间可否 了多长时间?从按下按钮到电视像素趋于稳定,这期间又可否 了哪几条毫秒?这一快速巧妙的测量妙招是利用智能手机。给你以240 FPS录制慢动作视频,否则计算帧数。

更好的妙招涉及这一定制控制器。控制器接入蕴藏LED的电路板。检测到按钮信号时,LED亮起。结合高速视频,给你实现更精确的测量。

比你这一更好的处里方案是,修改游戏并令其渲染黑色方块,否则黑色方块要能在按下按钮时变成白色。给你将光传感器接到显示器,另另一个多多多多多可否 提供非常精确的测量。

3. 端到端延迟

现在亲们 知道应该如可测量延迟了。很好。

不尽然。上述妙招是用于测量按钮到光子的视觉延迟。亲们 关心的是缝制在手套内的触觉致动器的延迟。摄像头可排不上用场。

更糟糕的是,亲们 没能 按钮。亲们 采用的是先进的手部追踪系统。当物理模拟检测到虚拟双手的接触时,触觉反馈就将产生。

亲们 可否 将触觉反馈单独追到来,但亲们 关心的是演示体验的端到端延迟。这包括硬件追踪系统,内部人员软件,第三方软件,设备驱动系统线程池池和输出硬件。

下面是亲们 的测量处里方案:

亲们 将物理桌面与虚拟桌面对齐。当用户的物理手部轻敲物理桌面时,亲们 的虚拟手部一齐将轻敲虚拟桌面。

否则亲们 使用另另一个多多多多麦克风。另另一个多多多多指向桌面并记录物理接触的声音。第另一个是手套内部人员的接触式麦克风,其用于记录触觉响应。另另一个多多多多麦克风都输入至要能同步音频流的现场录音器。

接下来,亲们 不计算视频帧,也不通过Nuendo打开音频流。亲们 手动注释音频流,否则计算增量时间,亦即亲们 的端到端延迟。

亲们 的触觉延迟测量波特率高达60 毫秒。该人都知道这很糟糕。但这是亲们 第一次拥有了具体的数字。

这段时间上端,共要有60 毫秒来自于第三方软件。亲们 都在在开展传统项目。亲们 希望触觉设备要能以60 0赫兹的频率运行。这会因为 各种奇怪的边缘具体情况。一旦亲们 知道问提图片出自哪里,亲们 就要能调整行为并处里上端件的死亡螺旋。

亲们 的软件管道贯穿多个子系统。它们在多个系统线程池池上运行,并以不同的波特率更新。

系统线程池池问提图片因为 周期浪费,有时甚至是损坏的信号。FramePro是另另一个多多多多可视化多系统线程池池行为的优秀工具。

为了验证亲们 的修复,亲们 用示波器测量了触觉致动器。作为另另一个多多多多软件人,这对我来说是这一有趣的新体验。

4. 三模态延迟

细心的读者否则否则注意到Nuendo截图中的另一个音频流。我的主要目标是衡量和改善触觉延迟。但否则亲们 的系统实际上属于三模态:亲们 关心触觉(手套),视觉(VR显示)和音频(耳机)。

为了测量这三者,亲们 记录了另一个同步的音频流:

检测物理接触的桌面麦克风

检测手套触觉的接触式麦克风

用于检测Rift头显音频的麦克风

用于检测显示变化(黑色到白色)的光电二极管

亲们 一齐使用接入USB的电容模拟板作为亲们 的物理触碰目标。这使得亲们 要能获取软件时间戳,后者可用来测量追踪系统的延迟。

这时,亲们 的积木塔演示感觉否则好了这一。触觉反馈的延迟感和断开感否则有了很大的改善。用户要能在触及积木的同一时刻感受到触觉。

5. 感知一齐性

人类的大脑非常奇特。人类非常善于根据多种感官信息来源来建立世界的心理模型。但有时亲们 的感官否则趋于稳定误导性。你否则否则注意到我另另一个多多多多多的信息图中趋于稳定另另一个多多多多问提图片。视觉,触觉和音频的延迟不一样。触觉延迟可否 了60 毫秒,而音频慢了共要40毫秒。

在亲们 优化演示内容的另另一个多多多多多,有人询问否是可否 禁用音频。接下来趋于稳定的事情令我感到震惊。触觉感觉更加敏感。假使 帮我和你分享这段经历。启用音频后,触觉感觉很棒。关闭音频后,触觉感觉超级棒。都在更好,也不显著更好。亲们 兴奋地跑到办公室,并对亲们 进行测试,看看亲们 否是都能感受到你这一差异。结果实在没能 。

具体来说,大脑将多个感官信号融合到统一的感知事件中。当你看多,感觉到,否则听到你的手部轻敲桌面时,大脑将这这一感官刺激解释为单一的触碰事件。

当其中另另一个多多多多信号(如声音)稍微出先延迟时,大脑对这一刺激的感知将随之变化,否则声音会“捉住”这一刺激。这使得亲们 有种触觉趋于稳定的时间晚于实际接触时的感觉。

下面是奇异和有趣的地方。你这一感知变化是自动的和非自愿的。即便你知道音频趋于稳定延迟,大脑都在会考虑延迟并进行纠正。无论亲们 如可专注于指尖触觉,延迟的音频仍然会因为 你认为触觉的响应性有所降低。

6. 心理物理学

现在亲们 转过身出先了各种有趣的问提图片。哪几条延迟属于太多呢?刺激可否 了同步吗?降低延迟和增加同步,哪个更重要呢?

为了始于回答上述问提图片,亲们 进行了一次心理物理实验。

亲们 的第一项研究十分简单。亲们 希望评估视觉和触觉刺激之间所能允许的延迟时间。这项测试在虚拟现实中进行,否则详细地追踪和解释双手。被试执行了操作虚拟立方体的任务。

为了模拟不同的延迟,亲们 通过写代码的妙招来注入额外的延迟。为了允许亲们 尽早触发触觉刺激(甚至在手指触及外皮另另一个多多多多多),亲们 一齐编写了这一简单的预测代码。这是这一模拟比亲们 系统所能允许的更低延迟的妙招。亲们 的预测代码不适用于消费产品,但它在受控环境中运行良好,我想要能告诉被试确切的行为妙招。

否则在视觉响应后的可否 了60 毫秒内播放触觉响应,大多数被试可否 认为视觉和触觉刺激是一齐趋于稳定。在亲们 的手套演示中,触觉响应仅在视觉响应后20毫秒内播放。

有趣的是,否则触觉响应比视觉响应早20毫秒以上播放,你这一一齐刺激感就不想出先。这是另另一个多多多多70毫秒的宽松窗口,但它都在以t = 0为中心。

7. 三模态一齐性

亲们 的初步研究侧重于简单的双刺激测试。接下来,亲们 进行了一项更简化的三模态一齐性研究,包括视觉,触觉和声音。

这是另另一个多多多多非常难以建模和可视化的问提图片。亲们 否则有了数据,但分析仍在进行中。以下是初步结果:

这张图非常密集。亲们 下面将分解说明。

原点代表所有这一刺激都在同一时间趋于稳定的具体情况。对于图中的这一位置,其表示相对于视觉刺激的时间的不同步进行。X轴表示音频刺激相对于视觉刺激的延迟。正X值表示声音是在视觉出先后播放。负X值表示声音是在视觉出先前播放。Y轴同类,但这是相对于触觉刺激。颜色编码是被试将这一刺激评定为一齐趋于稳定的百分比。

好了,这因为 什么呢?我发现了两件有趣的事情。

首先,“热点区域”都在以原点为中心。被试对在视觉刺激另另一个多多多多多趋于稳定的触觉或音频刺激非常敏感。

否则,其价值形式更接近于椭圆。被试对触觉延迟的敏感度高于音频延迟。你这一模态的异步性更加明显。相反,音频延迟往往更容易接受。这与先前的描述一致,即音频“捉住”触觉,甚至否则使其感觉上像是出先了延迟。

否则,目可否 了得出任何有力的结论还为时过早。亲们 的样本量非常小,亲们 的初步实验非常简单。亲们 发现,改变交互类型会对可接受的异步感影响很大。结果否则会随着不同的任务或不同类型的刺激而趋于稳定显著变化。亲们 向被试提出的调查问卷否则没能 捕捉到积木块塔演示中遇到的微妙“延迟”梯度。

最后,亲们 希望提供“创建引人入胜的触觉用户体验”的指南。亲们 还没能 走到那一步。亲们 对三态一齐性的研究尚不详细。有人否则会说亲们 的旅程只完成了1%。不过,亲们 另另一个多多多多多不错的开局。

8. 最后的想法

这也不我今天的故事。我有幸要能研究另另一个多多多多有趣的问提图片。亲们 一齐发现了意想可否 了的事情,否则亲们 对人类感知的原理有了更多的了解。非常感谢看多最后的读者。我非常喜欢你这一项目的工作。很荣幸有否则与你分享。