[ 分享 ]  NVIDIA TensorRT 7 的編譯器能夠做到即時推論創造出更聰明的人類與人工智慧互動
  回覆文章總數:

NVIDIA TensorRT 7 的編譯器能夠做到即時推論創造出更聰明的人類與人工智慧互動

  By : Leadtek AI Expert     160

麗臺AI專家好文推薦

近年來希望能將 AI 模型使用在手機或是Jetson系列小型的邊緣運算機器,降低即時推論的延遲,提高推論的效率,改善透過雲端推論的缺點(高延遲、網路 … 等問題),NVIDIA 為此開創了 TensorRT 推論優化套件,為各種神經網絡架構進行優化,降低軟體延遲、提高資料處裡量。

文中提到,在自然語言處理中使用的遞迴神經網路(Recurrent Neural Network) 的配置和函數組合出現激增狀態,對於快速部署滿足即時性能標準的正式生產用程式碼造成不小的壓力,開發人員如對程式碼進行優化會增加非常多開發時間,因此各地的開發人員可以透過TensorRT 優化套件,自動優化這些神經網路的模型。當然不只有遞迴神經網路可以透過TensorRT 優化,任何神經網路都可以透過TensorRT 自動優化。


原文網址 :

https://blogs.nvidia.com.tw/2019/12/nvidia-enables-era-of-interactive-conversational-ai-with-new-inference-software/


摘要:

NVIDIA 今日發表一項極具開創性的推論軟體,讓全球各地的開發人員都可以用它來製作對話式人工智慧應用程式,大幅縮短了推論時間上的延遲情況,而至今這種延遲情況仍持續不利於創造出真正的互動式參與。

NVIDIA TensorRT™ 7 是 NVIDIA 的第七代推論軟體開發套件產品,為人類與人工智慧更聰明的互動開啟了大門,讓人們能夠即時與語音助理、聊天機器人及推薦引擎等應用程式進行互動。

TensorRT 7 具備嶄新的深度學習編譯器,用於自動優化與加速日益複雜的人工智慧語音應用遞歸神經網路和變體(transformer)神經網路。與在 CPU 上運行時的速度相比,TensorRT 7 使得對話式人工智慧元件的運行速度提高十倍以上,將延遲情況降到即時互動所需的 300 毫秒閾值以下。


以下是回覆文