加载模型后,可以向工作流添加信息。要定义模型稍后在 Spatial Workplace 应用程序中的显示位置,必须将空间参考添加到工作流中。

有三种类型的引用:

  • 标记
  • 对象跟踪器
  • 模型放置

: 目前不支持在工作流中混合使用不同的空间参考类型。

标记

标记用于将要在工作流中显示的信息定位在实际组件上的所需位置。为此,至少需要在编辑器中添加 一个虚拟标记 ,其中 实际标记将与实际组件相关。不同的设备使用不同类型的标记。然后,根据标记的扫描位置将虚拟模型加载到 Spatial Workplace 中。

存在以下类型的标记:

  • ArUco标记: 这种类型的标记旨在与移动设备(iOS 和 Android)一起使用。标记的大小可以由用户调整,可以在 1 到 99 厘米之间。根据经验,应使用 10 厘米(带边框的 12 厘米)或 15 厘米(带边框的 18 厘米)的标记,但用户可以选择最适合相应组件的尺寸。
  • 二维码标记: 此类型的标记旨在与 HoloLens 2 一起使用。同样,大小可以由用户调整。建议的默认值为 15 厘米(带边框为 17 厘米)。

: 为了正确追踪,必须以与在空间编辑器中添加的标记相同的大小打印标记。

要向模型添加标记,请执行以下操作:

  1. 单击顶部的 添加
  2. 根据您的要求选择 ArUcoQR 码标记
  3. 单击要放置模型的模型表面。编辑器的其他选项/按钮将被禁用,直到您放置标记。
  4. 要更改标记在模型曲面上的位置,请选择它并单击顶部菜单中的 对象> 捕捉 或按 S 键盘。
  5. 使用 变换小控件 或右侧的“变换”菜单更改独立于模型表面的标记的位置和旋转。

6. 在右侧,您可以编辑 标记的参考 (ID 和大小)。

注意: 编辑器中使用的虚拟标记必须与使用 Spatial Workplace 时放置在现实生活中组件上的实际标记相同,因此请确保标记 ID 匹配。打印正确的标记并将其放置在编辑器和实际组件中的相同位置非常重要。 


所有标记都可以通过单击顶部菜单中的 标记 PDF 下载。对于大型模型,建议添加多个标记,以便于 HoloLens 2 进行跟踪。大型模型是指,为了看到所有引脚,用户需要将其视点相对于原始标记的位置移动 90 度以上。如果是这种情况,请为现实生活中组件的每个部分(即侧面)添加一个额外的标记。每个标记都有助于设备重新校准引脚的位置,确保其正确放置。

对象跟踪器

使用对象跟踪器时,真实对象用于计算要在工作流中显示的信息在所需位置的位置。对象跟踪器可用于将在 HoloLens 2、iOS 和 Android 设备上查看的工作流。

要向模型添加对象跟踪器,请执行以下操作:

  1. 单击 3D 场景顶部 菜单中的添加>对象跟踪器
  2. 您将看到智能眼镜的红色全息图(您需要使用鼠标上的滚轮缩小)。此全息图显示了如何通过智能眼镜感知物体。

3. 对象跟踪器相对于场景中模型的位置表示用户在 Spatial Workplace 中播放工作流时必须定位其设备以扫描真实对象的位置和距离。

4. 添加对象跟踪器。现在,它会自动定位在 3D 场景摄像机所在的位置(即用户当前在 3D 场景中查看模型的视角)。

注意: 使用鼠标,用户可以旋转场景,从不同角度更好地观看场景。

5. 在对象跟踪器上使用小玩意儿来优化其位置或移动相机。

6. 可选:单击右侧菜单中的 “从视图设置转换 ”,将其再次移动到您的查看视角。

注意: 重要的是,对象跟踪器与模型保持合理的距离,并且从模型中出来的线指向模型。

⇒ 上传工作流程后,在查看设备上测试扫描视角和距离,并在编辑器中对其进行微调。这样,可以保证最终用户获得更好的扫描体验。

注意: 智能眼镜全息图的红色表示没有附加.obj文件。.obj文件有助于从 VisionLib 跟踪对象,以跟踪现实生活中的组件。

7. 要从场景创建.obj文件,请选择红色全息影像

8. 转到右侧的设置。

9. 单击“跟踪对象”下的“分配”>“从场景中生成新内容”

10. 可选:用户还可以通过单击 “导出 ”并保存文件将.obj文件保存在其计算机上。

注意: 与导入到空间编辑器中的模型格式无关,需要从场景生成.obj文件或从磁盘提供。

11. 现在,3D 场景中对象跟踪器的全息影像应将其颜色更改为绿色。

12. 可选:如果零件在空间模型中被隐藏或移动,则需要重新生成.obj文件以将这些更改包含在工作流中。若要在使用 Workplace 应用时调整初始跟踪的位置和旋转,请启用 动态初始姿势 选项。

注意: 对于 HoloLens 2 中的对象跟踪,.obj的比例要求以米为单位。从场景生成.obj时,Spatial 将自动确保这一点。但是,如果用户从磁盘导入具有 VisionLib 许可证的现有.obj,则用户有责任确保秤以米为单位。其他设备没有此限制。

13. 使用右侧菜单更改对象跟踪器的位置和旋转。

14. 单击“ Set Transform From View”(从视图设置转换)。对象跟踪器会自动移动到 3D 场景的位置和视点。

15. 最后,您可以更改跟踪参数的值(如下所述)以改进对特定对象的跟踪。

注意: 其中一个参数是 静态场景,如果用户正在处理的场景是动态的,则可以禁用该参数。此功能目前仅在移动设备上可用。

注意: 默认值是选择的常规参数,以便与大多数对象配合使用。

以下是所有可用跟踪参数的列表:

  • 动态初始姿势: 启用后,用户可以在运行时动态设置初始跟踪视点。
  • 连续跟踪(仅限移动设备): 如果启用(默认),对象跟踪器将对移动设备进行连续对象跟踪。它更适合在任务期间可以移动或旋转但保持其形状的对象。 非连续跟踪 仅在任务开始时跟踪对象,然后使用 SLAM 继续跟踪。非连续跟踪更适合在任务期间未移动或旋转且改变其形状的对象(例如,添加或删除零件)。
  • 可扩展跟踪: 如果启用(默认),则基于模型的跟踪将扩展为基于 SLAM 的跟踪。这样,即使模型在相机图像中不再可见,也可以继续跟踪。用户需要执行 SLAM 舞蹈,这意味着平移和旋转相机,以便有足够的基线进行特征重建。
  • 最小内列比率初始化: 用于在初始化期间验证跟踪的阈值。取值范围为 0.5 到 0.9,默认值为 0.6。如果线模型与现实生活中的对象完美匹配且没有遮挡,则建议使用更高的值。但是,通常它们不会完美匹配,这就是为什么较低的值效果更好。
  • 拉普拉斯阈值: 创建线模型的阈值 (mm)。取值范围为 0.0001 到 100000,默认值为 5。这指定了要识别为边的两个相邻像素之间的最小深度。
  • 正常阈值: 生成线模型的阈值。取值范围为 0.0001 到 1000,默认值为 1000。这指定了识别为边所需的两个相邻像素之间的最小法线差。通常,它被设置为高值,因为无法非常可靠地识别基于法线的线条。但是,对于某些模型,使用较低的值可能是有意义的。
  • 线梯度阈值: 图像中边候选者的阈值。取值范围为 0 到 256,默认值为 40。高值将仅将具有高对比度的像素视为候选像素,而低值还将考虑其他像素。这是一种权衡。如果候选像素过多,算法可能会选择错误的像素。如果没有足够的候选对象,则线模型可能无法粘附在图像中的对象上。 
  • 关键帧距离: 关键帧之间的最小距离 (mm)。取值范围为 0.001 到 100000,默认值为 100。线模型仅针对某些关键帧生成。较高的值可提高性能,但精度较低(反之亦然)。 
  • 行搜索长度初始化相对 :在初始化和跟踪期间,相对于最小分辨率的正交搜索线的长度(以百分比为单位)。取值范围从 0.00625 到 1,默认值为 0.03125。基于模型的跟踪器将 3D 线模型投影到相机图像中,并搜索与投影线正交的边缘像素。 
  • 使用颜色: 默认情况下,此功能处于禁用状态。 如果启用,则在跟踪时可以更好地区分彩色边缘。它仅对具有彩色边缘的对象有用。它可以提高跟踪质量,但需要更多的处理能力。
  • 视野(仅限 HoloLens 2): 较大的视野使物体在图像捕获过程中显得更小。建议对大物体使用“宽”,对小物体使用“窄”。 

注意:对象跟踪必须由TeamViewer/VISCOPIC启用。需要为每个型号或每个设备提供额外的许可(外部软件供应商 - VisionLib)

模型放置

模型放置使用启动 Spatial Workplace 时的用户位置来定位连接到空间参考的所有模型和引脚。 

它可用于将在 HoloLens 2、iOS 和 Android 设备上查看的工作流。

要添加模型放置空间参考,请执行以下操作:

  1. 单击 3D 场景顶部 >添加模型放置 。小玩意儿只允许沿绿色和红色轴移动,并围绕蓝色轴旋转。此限制旨在将模型放置参照保持在同一平面上。

2. 绿色箭头表示用户的视野方向。用户可以在右侧菜单中根据此参考选择哪些模型进行定位。在 Spatial Workplace 中启动工作流时,所选模型和连接的引脚将在用户启动 Spatial Workplace 应用程序时相对于用户的查看方向进行定位。

模型可见性: 与连接到空间参考的引脚不同,模型默认不可见。要使它们在播放工作流时可见,您需要:

跟踪建议

标记尺寸

标记的大小会影响在 Spatial Workplace 中显示信息的精度,也会影响标记的扫描距离。编辑器允许用户选择 1 到 99 厘米之间的标记尺寸。

在 HoloLens 设备上,可以从比标记大小大 50 倍的距离轻松扫描 Frontline 标记。例如,在良好的照明条件下,可以扫描 10 厘米的标记直到大约 5 米远。在弱光设置下,请考虑增加标记大小。在 iOS 和 Android 设备上,Frontline 标记可以从比标记大小大 5 倍的距离(例如,从 50 厘米的距离扫描大小为 10 厘米的标记)轻松扫描标记。

注意:一般来说,记号笔的最小推荐尺寸为 10 厘米。但是,这可能会因照明条件、相机对焦以及与扫描仪相机的距离而异。

Spatial Workplace 将工作流的内容与扫描的标记相关。

此 2D 表示中仅 显示 x 轴和 y 轴。但是,Spatial Workplace 也使用第三个轴来映射精确的 3D 位置。该软件使用标记的中心相对于其高度和宽度来确定 3D 变换。

通过在实际组件上放置一个标记,该标记的大小与编辑器中添加到工作流中的数字组件不同,用户可能会将此 空间坐标系的起点设置在错误的位置。这可能会影响工作流中所有信息的定位。

经验法则: ArUco 标记的尺寸为 10 厘米,QR 码标记的尺寸为 15 厘米,对于相应设备上的大多数情况来说已经足够了。但是,照明条件、相机对焦以及与扫描仪相机的距离可能会产生重大影响。考虑增加标记的大小,以防出现问题。

注意:标记的所有四个角必须对扫描仪相机清晰可见,并展平到编辑器中定义的确切位置。记号笔中的卷曲和皱纹可能会影响针的正确定位。

现实生活中的设置建议

注意所有跟踪变量对于将引脚定位在其确切位置并最大限度地减少偏移非常重要。这包括标记、环境和用于运行 Spatial Workplace 应用程序的设备的物理特征。为了获得最佳结果,请遵循下面列出的建议以提高跟踪效率。

标记条件:

  • 使用编辑器中定义的具有正确大小和 ID 号的标记。
  • 扫描仪相机的所有四个角都应该清晰可见,包括其周围的空白区域。
  • 记号笔应始终压平并放置在现实生活中物体上的确切位置,不得出现卷曲、撕裂或皱纹。
  • 覆盖标记的反射表面可能会影响跟踪(例如,玻璃或层压)。
  • 标记应始终从相对于放置标记的表面的 90 度角度进行扫描(即,相机应直接注视物体/标记)。从不同角度扫描会影响引脚的定位。

环境条件:

  • 环境中的要素数量和组件影响跟踪。 扫描标记并设置原始位置后,设备跟踪系统将控制将内容保留在其位置。设置中的要素数量可提高设备跟踪的效率。良好的功能包括组件本身以及组件与其环境之间可见的角和对比度。
  • 房间应该有良好的照明。这些设备的摄像头通常具有较低的接收相对于我们眼睛的光的能力。确保房间内有足够的光线,以确保获得最佳的跟踪结果。但是,也要避免太亮的环境。
  • 应避免使用反光表面,尤其是在放置标记、大头针和其他内容物时。
  • 任务运行期间的粗暴移动可能会导致内容位置漂移。在执行任务期间保持设备的稳定位置。
  • 在大型设置中,图钉离扫描标记的位置越远,内容定位出现意外漂移的可能性就越大。这是由于标记跟踪中小 的不准确性加剧以及标记和内容位置之间的必要移动量造成的。要最大程度地减少此问题,请查看 下面的“添加额外标记以改进跟踪”部分。

注意:根据组件的大小,可能需要额外的标记。由于某些设备的跟踪能力有限,因此可能需要为模型的不同部分添加多个标记。这样,Spatial Workplace 软件可以重新跟踪引脚的位置以正确放置它们。在执行任务进行重新跟踪时,可以随时使用重新定位任务 功能 。

设备条件:

  • HoloLens 设备
    • HoloLens 设备需要干净的遮阳板和没有遮挡物的传感器。
    • 环顾房间或在该区域走动可提高设备跟踪房间设置的能力。让许多人在房间里不断运动可能会影响跟踪。
    • 用户具有不同的瞳距 (IPD)。设备上未校准的 IPD 值可能会影响 AR 体验。这篇 Microsoft 文章 介绍了如何使用校准应用自定义设备的 IPD。 
  • iOS 和 Android 设备
    • 清晰的相机镜头对于正确跟踪是必要的。
    • 自动对焦可能会影响图钉的定位。

在任务期间重新启动跟踪

如果在任务运行过程中内容的位置出现偏移,只需重新扫描标记即可。在设备的任务菜单 中 选择 重新定位任务 ,然后根据提示扫描标记。重新扫描标记后,任务将从您上次中断的地方开始恢复。

任务菜单

在移动设备(iOS 和 Android)上 ,任务菜单始终位于屏幕的左上角,其中包含一个包含三行的图标。在 HoloLens 2 上 ,在设备前举起左手时会显示任务菜单。也可以使用“重新定位任务”语音命令重新开始跟踪。

添加额外的标记以改善跟踪

当所有引脚都位于更靠近空间参考(标记)的位置时,AR设备具有更好的跟踪能力,并且不需要用户移动很远或相对于原始位置进行大转弯。当内容与初始空间参考相距较远时, 标记扫描中的小跟踪误差将显得较大,因为它们可能由距离决定。除此之外,过多 的用户移动可能会导致内容位置出现额外漂移。

这就是为什么我们建议为实际组件的不同“部分”创建不同的标记的原因,如以下示例所示:

在任务运行期间,用户能够扫描组件每个部分中的新标记,设备可以重新加载内容的位置并将引脚放置在正确的位置。 有关更多详细信息,请查看上面的“在任务期间重新启动跟踪”部分。

在编辑器中向项目添加多个标记时,请确保将额外的标记连接到工作流中的引脚。在编辑器中,用户可以在 2D 连接器中 连接它们。这允许用户决定不同的标记是否可以从不同的引脚启动任务,或者是否在引脚之间添加标记,这将迫使用户在到达任务的这一部分时扫描该标记。对于这些附加标记,请随意使用不同的标记 ID 或相同的标记 ID。

其他建议

请考虑以下因素,以确保无缝的 AR 跟踪体验,提高跟踪质量,并防止 AR 游泳和定位错误等问题:

  1. 真实环境中的光学特征 很少: 如果真实环境中不包含很多光学特征(例如,带有纹理的纯白墙),则摄像机可能很难计算头戴式设备或移动设备的移动。
  2. 非常复杂的 3D 模型/全息图: 可视化复杂模型或全息图时需要高计算能力才能看到所有对象/部件,这意味着留给 AR 跟踪系统的计算能力较少。
  3. 无眼部校准 (适用于 HoloLens 用户): 当每个用户执行设备上眼部校准时,可以获得最佳的 HoloLens 体验。如果 HoloLens 2 上仍然存在“游泳”问题,请尝试在设备上运行眼睛校准。在 Microsoft 的文档页面上了解有关 HoloLens 校准的详细信息。
  4. 计算能力有限的移动设备: 如果您用于运行 Spatial Workplace 的设备计算能力不强,可能是 AR Tracking 体验不流畅。
  5. 移动设备的摄像头质量低: 如果设备的摄像头质量低,也会出现跟踪质量差的情况。
  6. 标记大小错误: 标记必须完全按照标记 PDF 中规定的大小打印。错误的标记尺寸会导致错误的位置跟踪,因为相机会感知到标记更远,例如,如果标记打印得更小,则标记会更远。
  7. 房间扫描可能会有所帮助: 如果工作流仅在同一个房间中使用,则扫描房间并将其示教给 HoloLens 可能会有所帮助。在空闲模式下使用 HoloLens 时,可以通过在房间的各个方向上点击空气来完成此操作(打开,但未运行应用)。
  8. 走很远的距离/经常转弯:当用户在 Frontline Spatial 应用运行时使用设备走很远的距离时,或者如果工作流需要用户多次 90 度转弯,则全息影像和图钉可能会错位。解决此问题的一种方法是在工作流程中间添加标记以重置 AR 跟踪/引脚的位置。
  9. 标记在现实世界中的位置错误: 标记在现实世界中的位置与在空间编辑器中的虚拟场景中定义的位置完全相同,这一点很重要。这有助于正确放置对象和追踪,因此请确保标记的实际位置与空间编辑器中的位置相匹配。
  10. 低功耗移动设备: 如果您用于运行 Spatial Workplace 的设备没有强大的计算能力,则可能是 AR 跟踪体验不流畅。