以 Omniverse 為基礎的 NVIDIA Isaac Sim 現已進入公開測試階段

 Omniverse 為基礎的 NVIDIA Isaac Sim 現已進入公開測試階段

全新 Isaac 模擬引擎不僅能創造出更為逼真的環境,還能簡化產生合成資料及域隨機化的作業

以建立出符合真實情況的資料集,藉以訓練用於物流、倉庫到未來工廠等領域的機器人

 

NVIDIA Omniverse 是 NVIDIA 多款模擬器的基礎,包括 Isaac 平台在內,而該平台現已加入多項新功能。NVIDIA Isaac Sim 現已進入公開測試階段,讓我們一同來瞭解更進一步的機器人模擬功能。

以 NVIDIA Omniverse 平台為基礎的 Isaac Sim,是一款機器人模擬應用程式與產生合成資料的工具。機器人專家可以透過這項工具,逼真模擬機器人與環境互動的情況,而這些模擬環境範圍甚至可以超越真實環境中可能出現的情況,以便更有效率地訓練及測試機器人。

此版本的 Isaac Sim 功能還加入支援多台攝影機和感測器,以及一個 PTC OnShape CAD 匯入器,以便更輕易地匯入 3D 資產。這些新功能將擴大機器人與環境的範圍,讓用戶順利建立模型並部署在各個領域,包含從設計與開發實體機器人,接著加以訓練,再部署到「數位孿生」環境中,在極為精確和逼真的虛擬環境中模擬與測試機器人。

主要的全新功能

  • 支援多台攝影機
  • 搭配合成資料的魚眼攝影機
  • 支援 ROS2
  • PTC OnShape 匯入器
  • 更強大的感測器支援能力
  • 超音波感測器
  • 力感測器
  • 客製化光達模式
  • 可以從 NVIDIA Omniverse Launcher 下載
圖一_Isaac Sim 將多台攝影機感測器的資料傳送到 Rviz (ROS 視覺化工具)

 

圖二_在 Isaac Sim 中控制 Dofbot Manipulation Robot

Isaac Sim 讓更多的機器人模擬作業變成可能

開發人員早已了解在一個強大的模擬環境中,測試和訓練機器人的優點。但很多時候,這些模擬器也都有使用上的限制,而 Isaac Sim 透過以下優勢克服了這些問題。

  • 逼真的模擬畫面:Isaac Sim 透過 Omniverse 平台的強大技術,包括使用 PhysX 5 的先進 GPU 物理模擬、搭配即時光線與路徑追蹤技術的逼真畫面,以及支援材質定義語言 (MDL) 以建立符合物理條件的渲染畫面,創造出栩栩如生的機器人模擬環境。

  • 配合廣泛應用項目的模組化設計:開發 Isaac Sim 的目的在於解決許多最常見的機器人使用範例,包括操作、自主導航和產生合成訓練資料。用戶可以透過 Isaac Sim 的模組化設計,輕鬆配合眾多應用項目及環境來自訂和擴展工具集。

  • 流暢的連接性及互通性:Isaac Sim 借助 Omniverse Nucleus 和 Omniverse Connectors,在通用場景描述 (USD) 中以協作方式建立、分享與匯入環境和機器人模型。透過 Isaac SDK 及 ROS/ROS2 介面、功能完整的 Python 腳本、用於匯入機器人和環境模型的外掛程式,輕鬆將機器人的大腦與虛擬世界串連起來。

 

 Isaac Sim Bootstraps 機器學習中產生合成資料

使用產生合成資料這項重要工具來訓練目前機器人中感知模型的比例愈來愈高。從真實環境裡取得資料並正確加上標記,是一件費時且成本高昂的事。但在訓練機器人時,許多所需的資料難以在現實環境裡取得,或是取得的過程太危險,這對於必須與人類近距離操作的機器人來說更是如此。

Isaac Sim 內建支援多種感測器,這對訓練感知模型來說非常重要。這些感測器包括 RGB、深度、邊界框和分類。

圖三_符合玻璃物體的真實合成資料

在這次的公開測試版本中,能夠使用 KITTI 格式輸出合成資料。這些資料可以直接搭配 NVIDIA 遷移學習工具套件 (Transfer Learning Toolkit),加上特定使用案例的資料來提高模型效能。

域隨機化

域隨機化 (domain randomization) 會改變定義模擬場景的參數,像是場景中材質的照明、顏色和紋理。使用域隨機化這項技術的主要目的之一,是讓神經網路在模擬環境中接觸各種領域參數 (domain parameters),以提高機器學習模型的訓練結果。這將有助於模型在遇到真實世界的場景時,有效進行歸納推理。事實上,這項技術有助於教導模型什麼該被忽略。

圖四_工廠場景的域隨機化

Isaac Sim 可以隨機調整定義特定場景的多種屬性。借助這些功能,機器學習工程師便能確保合成資料集裡的多樣性將足以推動強大的模型效能。

 

可隨機調整的參數

顏色 移動
比例 照明
紋理 材質
網格 可視性
旋轉  

 

在 Isaac Sim 公測版本中,我們強化了域隨機化的能力,讓使用者可以定義一個進行隨機化的區域。開發人員現在可以在場景中沿著一個要進行隨機化的區域畫出一個方框,而場景的其他部分將維持不動。請參考此影片

更多關於 Isaac Sim 的資訊

GTC 2021 大會中關於 Isaac Sim 的最新內容:Sim-to-Real

如何匯入你自己的機器人相關資料

在這些開發者的部落格中,說明了使用 Isaac Sim 來訓練的你的 Jetbot 的方法:

開始使用

加入我們的搶先體驗計畫,與機器人社群中數以千計已經使用過 Isaac Sim 的開發者分享心得。下載 Isaac Sim,開始建立你的機器人模擬環境。

數碼領域

Arlo 推出全新訂閱方案 支援攝影機數目無上限

數碼領域
2021-08-03 0
Arlo 推出全新訂閱方案 支援攝影機數目無上限 簡化監控程序 提供更多元化保安功能 簡化後的訂閱服務新增以人工智能驅動的通知功能  無需附加費用便可連接額外攝影機裝置 領先的無線網絡攝影機品牌 Arlo Technologies, Inc.(紐約證交所:ARLO)今日宣布推出以人工智能技術驅動的全 ...

小米推出全新智能生活產品 三款全新科技產品 涵蓋家庭娛樂和日常上班等範疇

影音視聽
2021-08-02 0
小米推出全新智能生活產品 發佈三款全新科技產品   涵蓋家庭娛樂和日常上班等範疇   小米公佈今日推出一系列生態鏈產品,進一步全面提升用戶智能生活體驗。 全新產品陣容包括小米 27”QHD電競顯示器、小米滑板車3和Redmi Buds 3 Pro 降噪藍牙耳機。 一系列全新產品揉合創新的設 ...

Be the first to comment

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料