9月20日23:00首播(9月21日10:00重播)的秋季 GTC22 主題演講上，黃仁勛用了一個半小時的時間，為大家展示了NVIDIA RTX、NVIDIA AI 和 NVIDIA Omniverse 的最新進展 ，還包括它們對人工智能領域新突破的幫助，以及大量應用落地。

　　下面，一起來梳理下本次 GTC 主題演講上發布的振奮人心的成果。

　　PART.

　　0 1

　　第 3 代 RTX 架構 --  Ada Lovelace

　　NVIDIA 宣布推出第3 代 RTX 架構 —— Ada Lovelace ，單個 Ada GPU 即可支持 RacerX 的運行。這代 RTX 以數學家 Ada Lovelace 的名字命名，她被公認為世界上第一位計算機程序員。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　NVIDIA 工程師與 TSMC 緊密合作，創建針對 GPU 優化的 4N 工藝，此工藝讓我們能夠集成 760 億個晶體管和超過 18000 個 CUDA 核心，比上一代 Ampere 多 70%。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　最新架構 Ada Lovelace 的主要更新如下：

　　01

　　SER（著色器執行重排序）能力

　　Ada 的 SM 多單元流處理器新增Shader Execution Reordering(SER，著色器執行重排序)能力，可以實時重新調度任務，通過即時重新安排著色器負載來提高執行效率，從而更好利用 GPU 資源，把光追速度提升 2-3 倍，整體游戲性能可以提升 25%。

　　02

　　第三代 RT Core

　　全新第三代 RT Core 實現了兩倍的光線與三角形求交性能以及兩個全新的重要硬件單元：全新的 Opacity Micromap 引擎可以把光線追蹤的 Alpha-test 幾何性能提升 2 倍，全新的 Micro-Mesh 引擎可提升幾何圖形的豐富度，而不會帶來 BVH 構建和存儲資源的更多消耗。

　　03

　　第四代 Tensor Core

　　全新第四代 Tensor Core 新增了 Hopper FP8 Transformer Engine，可以實現 1.4  petaFLOPs 算力，AI 性能翻倍。

　　04

　　DLSS 3

　　Ada 引入了 DLSS 3，這個全新 AI 功能可生成全新幀，而不僅僅是像素。

　　DLSS 3 包含四個組件：

　　新的光流加速器

　　游戲引擎運動矢量

　　卷積自動編碼 AI 幀生成器

　　NVIDIA Reflex 超低延遲流水線

　　DLSS 3 會處理新幀和上一幀，以了解場景的變化情況。光流加速器為神經網絡提供了像素級的幀到幀的運動方向和速度信息。此后，通過綜合游戲中的幀以及幾何圖形和像素的運動矢量，并將其輸入至神經網絡，就能計算出中間幀了。

　　DLSS 3 在不涉及圖形管線處理的前提下生成全新的幀，相較于單純的渲染，游戲性能最高可提升 4 倍，DLSS 3 可獨立于游戲內容直接生成全新幀，因此這項技術可以令無論是對 GPU 性能要求較高的游戲，還是受到 CPU 限制的游戲，都將從該技術中受益。對于受到 CPU 限制的游戲(例如物理計算密集型游戲或大型場景游戲)，DLSS 3 令 Ada GPU 能夠為玩家帶來遠高于 CPU 可計算的幀率。DLSS 3 是精彩卓著的神經網絡渲染創新之一。

　　05

　　雙 NVIDIA 編碼器（ NVENC ）

　　雙 NVIDIA 編碼器(NVENC)將輸出時間至多縮短一半，并支持AV1。越來越多的公司，如 OBS、Blackmagic Design DaVinci Resolve、Discord 等都已在采用 NVENC AV1 編碼器。

　　重磅推出 GeForce RTX 40 系列 GPU！

　　在宣布 Ada Lovelace 架構之后，NVIDIA 還宣布推出了萬眾矚目的 NVIDIA GeForce RTX® 40 系列 GPU ，旨在為游戲玩家和創作者提供革命性性能，其中新旗艦產品 RTX 4090 GPU 的性能相較上一代提升最高可達 4 倍，將于 10 月 12 日上市。

　　作為全球首款基于全新 Ada Lovelace 架構的 GPU ，RTX 40 系列在性能和效率上都實現了巨大的代際飛躍，意味著實時光線追蹤和利用 AI 生成像素的神經網絡渲染的新時代已然來臨。

　　PART.

　　0 2

　　Omniverse 相關發布

　　Omniverse 是用來構建和運行元宇宙應用的平臺，無論數字世界和現實世界在何處交匯，Omniverse 都能發揮作用。

　　01

　　Omniverse應用：RTX Remix

　　“傳送門(Portal)”RTX 版是一款游戲 MOD，是NVIDIA 使用 NVIDIA Omniverse 搭建的。MOD 是一種受眾龐大的游戲文化，人人都可以成為創作者。NVIDIA為游戲 MOD 打造了一款名為 RTX Remix 的 Ominverse 應用，啟動游戲并將游戲捕獲到已加載至 Omniverse 的 USD 文件中。

　　一旦進入 RTX Remix，既可以使用 AI 輔助工具集包含的深度學習模型來提升紋理和素材的分辨率，也可以使用一個 AI 模型把材質轉換為具有精確物理屬性的材質。同時，豐富的 Omniverse 創意工具生態系統可用于增強游戲素材。完成后，導出 RTX Mod 包，即可享受精彩紛呈的 RTX 游戲之旅。

　　RTX Remix 是非常出色的技術，同時也是非常先進的 MOD 工具。“傳送門(Portal)”RTX 版和 RTX Remix 將在 Ada 發布后不久推出。

　　02

　　NVIDIA RacerX

　　NVIDIA RacerX 是基于 NVIDIA Omniverse 構建的、單 GPU 運行的全交互式仿真展示。RacerX 是基于物理定律的仿真，其中光照、反射和折射均采用光線追蹤技術，沒有經過任何預渲染和烘焙，汽車的零部件和連接件采用單獨建模，他們的物理特性會影響到操控的運動表現。環境中的事物不是靜態道具，而是剛體、布料和流體仿真，煙霧、火焰和灰塵是體積仿真。RacerX 就是基于仿真的。未來的游戲將不再需要預烘焙，未來的游戲將是仿真的世界。

　　NVIDIA RacerX 由 30 位藝術家創建而成，采用了 11 種工具，支持藝術家跨 12 個時區開展協作，他們僅在 3 個月內就完成了創建工作。該團隊通過 Omniverse 進行工具連接和協作，并創建了自定義的 3D 制作流程用來編排和管理工作。

　　03

　　Omniverse 重大更新

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　>>  支持 Ada Lovelace GPU ，在光線追蹤和大型場景性能方面實現巨大飛躍;

　　>>  基于 GAN 和擴散模型的新型神經渲染工具 ；

　　>>  OmniGraph 是一個圖形執行引擎，可通過程序化的方式控制行為、動作和行動;

　　>>  Omniverse Physics 的重大更新，用來處理復雜的多連接部件對象的運動情況;

　　>>  全新的 Cloud XR ，支持在 VR 中實現 Ada 強大的光線追蹤功能;

　　>>  首個用于合成數據生成和數字孿生模擬的SimReady 素材庫；

　　>>  Replicator 是備受青睞的 Omniverse 應用之一，用來生成合成數據

　　從而訓練自動駕駛汽車、機器人和各種計算機視覺模型;

　　>>  新的 Omniverse JT 連接器 。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　Siemens 發明了 JT，這是產品生命周期管理的行業標準語言，也是 NX、Creo、Catia 和 Inventor 等 CAD 系統的互操作格式。JT 連接器使得工業和制造業可以運用 Omniverse。Omniverse 是一個企業平臺，該平臺適用于從產品設計和造型到工程策劃、制造、營銷和運營的整個產品生命周期，無論是制作電影或游戲、生產汽車或任何消費品，還是建立和運營工廠和倉庫，其核心都是超級復雜的 3D 制作流程。

　　04

　　Omniverse 計算平臺

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　NVIDIA Omniverse 計算平臺由三部分構成：

　　RTX 計算機(供創作者、設計師和工程師使用)

　　OVX 服務器(用來托管與 Nucleus 數據庫的連接并運行虛擬世界模擬)

　　NVIDIA GDN(進入 Omniverse 的門戶)

　　其中，全球圖形交付網絡(即 GDN)能夠覆蓋 100 個地區，為之提供響應靈敏的超快 RTX 圖形。通過 NVIDIA RTX PC、云端的 NVIDIA GPU 和 NVIDIA GDN 可以打造覆蓋全球的 Omniverse 計算平臺。

　　05 NVIDIA Omniverse Cloud

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　NVIDIA 宣布推出 NVIDIA Omniverse Cloud， 這是一套軟件和基礎設施即服務( Iaas )套件，可連接在云上、本地或單個設備上運行的 Omniverse 應用。此外，Replicator 和 Farm 也可在云上運行。如今，用戶可在 AWS 上使用 Omniverse Cloud Replicator 和 Farm 容器，NVIDIA 還將這些容器作為托管服務提供。

　　06

　　第二代 OVX 計算機

　　面向元宇宙應用，黃仁勛宣布推出第二代 OVX 計算機，由全新 Ada Lovelace L40 數據中心 GPU 和增強的網絡技術提供支持，以提供突破性的實時圖形、AI 和數字孿生模擬功能。

　　借助 48GB 超大幀緩沖區，擁有 8 個 L40 GPU 的第二代 OVX 將能完成超大的 Omniverse 虛擬世界仿真。L40 GPU 已全面進入量產，第二代 OVX 系統將于明年年初向市場提供。

　　PART.

　　0 3

　　自動駕駛與 AI

　　01 新一代自動駕駛芯片 NVIDIA DRIVE Thor

　　本次 GTC 宣布的 NVIDIA DRIVE Thor 的吞吐量達到 Atlan 的 2 倍，整型峰值性能可達2000 TOPS，FP8 精度的峰值性能可達到 2000 TFLOPS，同時降低整體系統成本。Atlan 是 NVIDIA 于 2021 年推出的 1000 TOPS 的 SoC。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　實現這些目標離不開三個因素：Grace、Hopper 和 Ada Lovelace，其中 Grace 提供了令人驚嘆的 Transformer 引擎、ViT 的快速變革，Ada 中的多實例 GPU 有助于車載計算資源的集中化，將成本降低數百美元。

　　NVIDIA DRIVE Thor 采用很多新技術，它可以被配置為多種模式，將其 2000 TOPS 和 2000 TFLOPs 全部用于自動駕駛工作流。同時可以將其配置為一部分用于駕駛艙 AI 和信息娛樂，一部分用于輔助駕駛。Thor 中的多計算域隔離允許并發、對時間敏感的多進程無中斷運行。可以在一臺計算機上同時運行 Linux、QNX 和 Android。

　　此外，Thor 還集中了眾多計算資源，降低成本與功耗的同時實現功能飛躍。目前，汽車的停車、主動安全、駕駛員監控、攝像頭鏡像、集群和信息娛樂均由不同的計算設備控制。而未來，這些功能將不再由單獨的計算設備控制，而是由在 Thor 上運行、并隨時間推移不斷改進的軟件統一控制。

　　Thor 將從 2025 年開始為自動駕駛汽車的集中式車載計算機提供支持。與 Orin 一樣，Thor 處理器將應用于機器人、醫療儀器、工業自動化和邊緣 AI 系統領域。

　　02 NVIDIA DRIVE 平臺

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　NVIDIA DRIVE 是一個面向自動駕駛汽車開發與部署的端到端平臺，在開發方面包含了 Replicator 合成數據生成、DRIVE  Sim 和 DRIVE  Map，在部署方面包含了全棧駕駛和車內 AI 應用、AI 計算機和 Hyperion 自動駕駛汽車參考架構。

　　麗臺科技

　　Drive Map使自動駕駛汽車能夠更安全地導航

　　NVIDIA DRIVE  迎來了一系列功能更新，首先是名為 Neural Reconstruction Engine 的 AI 工作流，已成為了 DRIVE  Sim 的一項主要功能。它可以根據記錄的傳感器數據構建 3D 場景，在將 3D 場景導入 DRIVE  Sim 之后通過人工創建或 AI 生成的內容對其進行增強。另外，這個從視頻到 3D 幾何圖形的工作流可以在 OVX 系統上運行。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　03

　　Jetson Orin Nano

　　Drive Orin 是 NVIDIA 推出的第二代自動駕駛汽車計算芯片，專為機器人開發設計。目前看來非常成功，已經被 40 多家汽車、卡車和無人駕駛出租車使用。Jetson 是 NVIDIA 的機器人計算機，擁有 100 萬開發者，使用的公司約為 6000 家。

　　本次 GTC 大會上，黃仁勛宣布推出一款微型機器人系統級模塊芯片 Jetson Orin Nano，它的速度較之前的 Jetson Nano 快了 80 倍。Jetson Orin Nano 可以運行 NVIDIA Isaac 機器人堆棧，并具有 ROS 2 GPU 加速框架。

　　Orin 還是 Metropolis 運行所在的工業級 IGX Edge AI 平臺的機器人處理器。NVIDIA 邊緣 AI 平臺 Metropolis 的下載量已達 100 萬次，在全球擁有1000 多家應用合作伙伴。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　全球大型工業自動化公司 Siemens 西門子將 Metropolis 和 Orin IGX 用于其工業邊緣計算平臺。

　　除了機器人開發外，Orin IGX 也是醫療影像應用的理想計算平臺。在 Orin IGX 上運行的 NVIDIA Clara Holoscan 是一個低延遲的成像處理平臺，包含用于數據處理、AI 模型訓練、仿真和機器人開發應用的庫。70 多家領先的醫療設備公司、創企及醫療中心都在 Clara Holoscan 上進行開發。

　　04

　　Isaac 進入云端

　　本次 GTC 上，NVIDIA 宣布 Isaac 將進入云端。在 NGC 上，可以獲取云就緒 Omniverse VMI 虛擬機鏡像和 Isaac 容器，并將其部署到任何公有云上。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　Isaac 平臺是 NVIDIA 為 AMR(自主移動機器人)打造的，包含一些實用工具：倉庫和工廠中常見物品的 Sim Ready 素材庫;用于合成數據生成的 Replicator;具有與 ROS 和其他熱門機器人生態系統的連接器的 Isaac Sim;采用 AI 和計算機視覺算法的 Isaac ROS 引擎以及可連接 ROS 橋接器的運行時;實時車隊任務分配和路線規劃引擎的cuOpt。