[ 分享 ]  NVIDIA 的推論效能突破讓雲端到邊緣的對話式人工智慧變得更聰明、更具互動性
  回覆文章總數:

NVIDIA 的推論效能突破讓雲端到邊緣的對話式人工智慧變得更聰明、更具互動性

  By : Leadtek AI Expert     1399

麗臺AI專家好文推薦

NVIDIA推出第八代人工智慧 (AI) 軟體 TensorRT™ 8,讓語言查詢的推論時間減半,並讓開發人員得以打造全世界最高效能的搜尋引擎、廣告建議與聊天機器人,並能從雲端到邊緣提供這些服務。

TensorRT 8 還透過另外兩個關鍵功能達成 AI 推論的突破。

稀疏性 (sparsity) 是 NVIDIA Ampere 架構 GPU 中用以提升效率的新效能技術,可以讓開發人員藉由減少運算作業以加速神經網路。

量化感知訓練讓開發人員可以在不犧牲精準度的情況下,運用已訓練好的模型和 INT8 的精度運行推論,這讓他們在 Tensor 核心上進行高效率推論時,可以大幅減少運算與儲存的時間。

企業以往只能縮小模型的大小,但也因此造成較低的精準度,如今有了 TensorRT 8,企業可以把模型的大小擴增兩倍或三倍,並大幅提升精準度。


原文網址

https://blogs.nvidia.com.tw/2021/07/20/nvidia-inference-breakthrough-makes-conversational-ai-smarter-more-interactive-from-cloud-to-edge/


Image Source: NVIDIA

以下是回覆文