NVIDIA Isaac ROS 提供人工智慧感知能力給 ROS 開發人員

NVIDIA Isaac ROS 提供人工智慧感知能力給 ROS 開發人員

 

對於自主機器人來說,感知與理解周圍環境是其面對的一大挑戰。

適逢 ROS World 2021 大會,NVIDIA 宣布其為 ROS 開發者社群提供高效能感知技術的最新進展。這些計畫將加速產品開發以及提高產品效能,最終讓開發人員能夠更輕鬆地將最先進的電腦視覺及人工智慧 (AI)/ 機器學習 (ML) 功能,應用於 ROS 架構的機器人應用程式。

最新消息

  • 提供最高效能的即時立體測距解決方案,可作為 ROS 軟體包使用
  • NGC 上各項 NVIDA 推論深度神經網路 (DNN) 皆能作為 ROS 軟體包使用,其中包含影像分割和姿勢估計的範例
  • NVIDIA Isaac Sim 中的全新合成資料生成 (SDG) 工作流程,可為視覺 AI 訓練提供大規模生產品質等級的資料集
  • NVIDIA Isaac Sim 在 Omniverse 上對 ROS 提供開箱即用的支援能力正式推出 GA 版本,其為對開發者最友善的版本

NVIDIA Isaac ROS GEM – 最佳化的效能

圖一_NVIDIA Isaac ROS GEM 的軟體方塊圖

Isaac ROS GEM 提供包含影像處理和電腦視覺的軟體包,其內含針對 NVIDIA GPU 和 Jetson 進行高度最佳化調整、並基於 DNN 架構的演算法。

出色的 GEM 立體視覺測距法 – 最佳的準確度及經過最佳化調整的效能

當自主機器在環境中移動時,必須追蹤自己的位置。視覺測距法透過估算攝影機與其起始位置的相對距離,以解決這個問題。用於立體視覺測距的 Isaac ROS GEM 為 ROS 開發者提供這項強大的功能。

這個 GEM 為即時立體攝影機視覺測距解決方案提供了最高的精準度。在此可以參見按照廣泛使用之 KITTI 資料庫所提供的公開結果。除了極高的精準度,該 GPU 加速套件的運行速度也十分快。事實上,現在可以在 NVIDIA Jetson AGX Xavier 上,即時 (>60fps) 以 HD 解析度 (1280×720) 來運行 SLAM。

出色的 GEM DNN 推論能力 – ROS 開發人員可以取得 NGC 上的各種 DNN 推論模型

你可以使用 NVIDIA 在 NGC 上提供的任何推論模型,甚至可以透過 DNN 推論 GEM (一套 ROS2 軟體包) 提供自己的 DNN。亦可以使用 NVIDIA TAO 工具套件,對已預先訓練完成的模型進行調整,或最佳化自己的模型。

完成最佳化調整後,NVIDIA 的推論伺服器 TensorRT 或 Triton 會部署這些軟體包。透過 NVIDIA 高效能推論軟體開發套件 (SDK) TensorRT 的節點,將達到最佳的推論表現。若 TensorRT 不支援所需的 DNN 模型,則應使用 NVIDIA Triton 來部署該模型。

GEM 以原生方式支援 U-Net 及 DOPE。基於 TensorRT 的 U-Net 軟體包可用於從影像產生出語義分割遮罩。而 DOPE 軟體包則可用於對所有偵測到的物體估算其 3D 姿勢。

這項工具是將高效能 AI 推論納入 ROS 應用程式的最快方法。

圖二_來自三個 Isaac ROS GEM 的合成影像,包含 DNN (PeopleSemSegnet)/ AprilTags/ Disparity (Depth)

正式推出 NVIDIA Isaac Sim GA 版本

NVIDIA 將於 2021 年 11 月推出 Isaac Sim 的 GA 版本,將是目前為止對開發者最友善的版本。該版本在使用者介面、效能及有效的構建模組方面有諸多改善,因此將帶來更好的模擬以及更快的構建速度。此外,提升後的 ROS Bridge 和更多的 ROS 範例將強化使用者體驗。

此版本的更新項目 (2021.2 版本預計將於 2021  11 月推出)

  • 提高效能,減少記憶體使用量和啟動時間
  • 改善佔據地圖生成、URDF 匯入器
  • 全新環境包含大型倉庫、辦公室、醫院
  • 全新 Python 構建模組,用於與機器人、物體與環境連接
  • 改善 ROS/ROS2 Bridge、深度點雲、光達點雲的效能
  • 範例更新
    • 使用 ROS2 進行多機器人導航
    • 在 Jupyter 中具有域隨機化的 SDG

全新合成資料生成工作流程 –  Isaac Sim 建立生產品質等級的資料集

自主機器人需要大量且多樣的資料集,以訓練運行其感知堆疊的多個 AI 模型。想要從真實場景中取得這些訓練資料,得花上高昂代價,而在極端的情況下,還有發生危險的可能性。Isaac Sim 提供的全新合成資料工作流程,可以建立生產品質等級的資料集,以解決自主機器人在安全及品質方面的問題。

建立資料集的開發人員可以控制場景中的物體、場景本身、光線照明,以及合成感測器的隨機分佈。開發人員還能進行微調,以確保在資料集中有納入重要的極端情況。最後,這個工作流程支援版本和除錯資訊,以便能夠按照審計和安全目的精確複製資料集。

圖三_Isaac Sim 中感測器函式庫的合成資料範例

開始使用

瞭解如何開始使用 Isaac ROS。

前往 NVIDIA 在 ROS World 21 大會的虛擬攤位,觀看 Isaac 的相關技術簡報內容。

數碼領域

SAP與NVIDIA攜手加速推動全球企業應用生成式AI

數碼領域
2024-03-19 0
SAP與NVIDIA攜手加速推動全球企業應用生成式AI 客戶可利用 NVIDIA AI Foundry 和全新NVIDIA NIM的大型語言模型 (LLM) 釋放SAP雲端解決方案中業務數據的潛力 SAP和NVIDIA宣佈擴展合作夥伴關係,共同協助企業客戶加速在 SAP雲端解決方案和應用中發揮數據和 ...

NETGEAR全新推出強勁的WiFi 6E Mesh 系統 Nighthawk MK92

數碼領域
2024-03-14 0
NETGEAR全新推出強勁的WiFi 6E Mesh 系統 Nighthawk MK92   Nighthawk MK92三頻WiFi系統可爲高達5,000呎*的家居環境 解鎖高達5.7Gbps的速度 NETGEAR®,Inc.(納斯達克股票代碼:NTGR)是一家屢獲殊榮的領先品牌,爲簡化 ...

Be the first to comment

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料