Omniverse中协作实例分享

最近陪老大去了一趟Nvida总部，因此研究了一下NVIDA的OV，发现能对国内目前最好的工业产线规划软件（杭州芯控自研的芯工厂软件）具有加持作用，因此分享一下它的使用步骤。

背景

先从背景说起吧–
宝马MINI：想打造一个易于使用的3D规划环境，哪怕没有3D工具或编码方面的背景知识，也能轻松使用。宝马有许多专业工具可构建3D环境，有效使用这些工具的学习曲线非常高，因此选择了一些非传统游戏引擎Epic Games的虚幻引擎（UE4）。它具有自己的CAD导入器，以及可视化脚本语言。最大原因在于其易用性，规划人员能快速有效使用操作该软件。但后续在把更多解决方案提供给各个部门时，需要重新提取数据并保持数据更新的工作显著增加，因此有了Omniverse的用武之地。

Omniverse
1、Omniverse两个独特功能：（1）连接到它的应用（2）使用USD的统一数据库，我们可以从中自动提取现用数据库的实时结果，当有最新版本时它会自动更新
Omniverse支持光线追踪和光栅化功能
光线追踪（Ray Tracing）和光栅化（Rasterization）是计算机图形学中两种不同的渲染技术，用于生成图像或实时渲染。
（1）光线追踪：光线追踪是一种基于物理模拟的渲染技术。它通过模拟光线在场景中的传播和相互作用来生成图像。在光线追踪中，从相机位置出发发射光线，这些光线会与场景中的物体相交。然后，根据物体的材质属性和光照条件，计算光线的反射、折射、散射等效果，以确定每个像素的颜色值。光线追踪能够产生逼真的阴影、反射、折射和全局光照效果，但计算复杂度较高，对硬件性能要求较高。
（2）光栅化：光栅化是一种基于三角形渲染的技术，常用于实时渲染和游戏开发。在光栅化中，场景中的三维物体首先被分解为一系列三角形片元（或称为像素），然后将这些片元映射到屏幕上的像素位置。对于每个片元，使用图形管线的各个阶段（如顶点着色器、光栅化器、片元着色器等）来计算其最终的颜色和属性。光栅化是一种实时渲染技术，具有较低的计算成本，能够在实时应用中提供平滑的动态图像，但在全局光照和反射方面可能缺乏真实感。
总的来说，光线追踪是一种基于物理模拟的高级渲染技术，可以产生逼真的光照和阴影效果，但对计算资源要求较高，常用于离线渲染和高质量图像生成。光栅化则是一种实时渲染技术，适用于实时应用和游戏开发，可以提供较高的帧率和实时交互性，但在某些真实感方面可能有所欠缺。随着技术的进步，现代图形渲染中常使用光线追踪和光栅化的结合，以获得更高质量的实时渲染效果。

使用实例

可在Maya、虚幻引擎、Create、CATIA、3dsMAX、Rhino、Substance Painter中集成使用Omniverse。
举例：Omniverse提供了与Autodesk Maya的集成，使您能够在Omniverse平台上创建、编辑和渲染Maya中的内容。以下是Omniverse和Autodesk Maya之间连接的主要方式：
（1）Omniverse插件：Omniverse提供了一个名为Omniverse Maya插件的工具，用于将Maya中的场景、模型、动画和材质导入到Omniverse中。该插件允许您在Maya中进行创作和编辑，然后将内容以USD（Universal Scene Description）格式导出到Omniverse中。导出后，您可以在Omniverse中进一步编辑、渲染和可视化Maya内容。
（2）实时渲染和可视化：Omniverse可以实时渲染Maya内容，利用其强大的渲染引擎和光线追踪功能。您可以在Omniverse中实时查看Maya场景的高质量渲染结果，并进行交互式的导航和观察。这使您能够更好地理解和评估Maya项目的外观和效果。
（3）USD工作流：Omniverse和Maya之间的连接基于USD格式。USD是一种开放的场景描述格式，可以在不同平台和工具之间交换和共享三维内容。通过使用Omniverse和Maya的USD工作流，您可以轻松地在两个平台之间共享和协同工作。（USD的结构和Photoshop类似，属于层级结构，操作某一个层级的时候对其它层不会产生影响。层级里面可以包含模型，贴图，材质，灯光，动画，特效）。USD独特的内存管理技术可以让以前无法想象的复杂场景在你的家用电脑上也蹭蹭跑起来。
（4）基于代理的工作流：在连接Maya和Omniverse时，可以使用代理（Proxy）来管理和处理复杂的模型和场景。代理是高分辨率模型的低分辨率替代品，可以提高性能并减少内存占用。您可以在Omniverse中加载和编辑代理，然后在需要时再加载原始的高分辨率模型。
需要注意的是，Omniverse Maya插件是由NVIDIA提供的，您可以通过NVIDIA官方网站或Omniverse的官方网站获取有关插件安装和使用的详细信息。这些插件为Maya和Omniverse之间的集成提供了更紧密和无缝的连接，使您能够在两个平台之间共享和协同工作。

NUcleus
5、Omniverse Nucleus是Omniverse的数据库和协作引擎。借助 Nucleus，团队可以让多个用户同时使用多个应用程序实时连接在一起。这促进了用户使用他们最舒适和最快捷的应用程序，并允许快速迭代。
6、Omniverse连接器通过NVIDA Nucleus实现双向链接。
7、CAD文件可以作为USD文件集成到Omniverse。

宝马打造数字孪生的过程

在宝马打造数字孪生：识别布局与规划，用到的是Bentley的MicroStation CAD，从生产到设计，用到的是CATIA V5，西门子的Process Simulate用于管理机器人和人体模拟。最后，ipolog用于装配线和物流规划。 使用MicroStation与工厂布局载入DGN文件，可在Omniverse Create中看到转换后的数据，在Process Simulate的Omniverse插件中，选择服务器根文件夹、项目，然后发布场景，可实现两者的互联协同。

CATIA中，有新的工具栏，可用于访问Omniverse Nucleus，同样，选择一个文件夹，发布，在Omniverse View中打开它，自由更改材料。
9、Omniverse应用专为加速不同工作流设计，Omniverse应用可有第三方开发者构建于Omniverse工具包。将现有的CAD解决方案与Omniverse结合在一起。

10、与UE4相连：打开Omniverse，选择Nucleus，点击添加NUCLEUS服务，选择一个合适的路径，然后就在电脑上成功部署了Omniverse。这只是第一步，想要实现与ue4实时连接还需要下载两样东西，点击交易所找到omniverse create，它是Omniverse的渲染器，然后退回上一个页面，点击连接器，可以安装关于ue4的版本。
（异地协同建模！！！5分钟教你使用omniverse_哔哩哔哩_bilibili）

安装完毕后菜单栏会出现omniverse按钮，代表成功完成了连接器的安装，接下来让ue4连接上本地的NUCLEUS服务，点击Omniverse，选择add serve，

默认localhost这个不用管，点击add，

输入账户密码，点击登录，可发现UE4的源面板中出现了omniverse文件夹。

至此，我们已经成功连接到了自己的本地服务。
现在让我们导入一个场景到里面
点击omniverse，选择第三个，在弹出的界面中点击ok。

然后选择omniverse中的project文件夹，在里面新建文件夹点击保存，现在这个场景就被转成了USD文件，打开它之后就可以通过这个文件来展示与create的实时同步。
接下来打开create，左下角找到转为USD格式的文件并打开，点击右上角的layer，点击always on。

首先确保你打开的是刚刚生成的USD文件，然后点击omniverse，勾选live edit，点submit。

Omniverse的主要组件介绍

第一次安装后，Launcher中的Library是空的，可以进入Exchange界面中Apps中下载各类功能的软件；

1.Apps
Apps是Omniverse强大协作功能的开启入口，也让Omniverse不仅仅只是一个协作平台，NVIDIA作为人工智能先驱企业开发，其中如Audio2Face, Issac Sim, Kaolin等App充分调用NVIDIA显卡算力，结合强大AI科技，为创意赋能。以下着重介绍几个后续演示中会用到的软件。
（1）Omniverse Kit
Apps界面中的所有软件，几乎都是基于Omniverse Kit做的二次开发。所以进入首先需要下载安装Omniverse Kit。
（2）Omniverse Cache
必装软件。Omniverse Cache主要负责处理3ds Max, Maya等软件和Omniverse桥接时的缓存。
（3）Omniverse Create
必装软件。可以将Create简单理解为与3ds Max, Maya类似的一个简单的DCC，它能在三维场景中创建各式各样的物体。Create充分发挥了NVIDIA在打光、渲染方面的强项，这方面的功能很强大。
大家可以将自己在3ds Max, Maya, 虚幻引擎等软件中创作的场景、角色、动画整合到Omniverse中的大场景中，在这个场景中可以访问其他人进来的各种文件和资产，然后进行二次创作——可以移动物体，给材质，打灯光等。
（4）Omniverse Drive
必装软件。Omniverse Drive会在你的硬盘中装一个虚拟硬盘，本地的文件夹中会多一个Omniverse Drive文件夹。它会专门访问一个服务器，这个服务器可以根据自己的部署需求，在一个远程的服务器端，也可以在本地有一个服务器。
（5）Omniverse View
相当于Create的简化版，View没有这么多的操作功能，主要负责实时预览，可以看到世界各地的艺术家用不同软件制作的实况。
（6）Omniverse Marbles RTX
由Omniverse开发的动力学为基础，运行在实时光追中的游戏。
2.Connectors
而Connectors大家可以理解为OV和各个软件的连接桥梁，相当于Adobe中的Bridge，可以桥接到各位制作软件中。
Omniverse Nucleus 提供一组基本服务，使各种客户端应用、渲染器和微服务能够共享和修改虚拟世界的表示。Nucleus 在发布/订阅模式下运行。根据访问控制，Omniverse 客户端可以将对数字资产和虚拟世界的修改发布到 Nucleus 数据库 (DB)，或订阅这些更改。更改在互联的应用之间实时传输。数字资产包括几何图形、灯光、材质、纹理，以及描述虚拟世界及其演变的其他数据。

在左侧，我们可以看到许多热门 DCC 应用，以及使用 Kit 为 Omniverse 专门创建的新应用。这些应用都能导出 USD 文件格式，并支持 MDL 材质。得益于 Omniverse Connector 插件助力创建的 Omniverse 门户，这些应用可实现与 Nucleus 数据库的连接。