投資輝達 AI 晶片 1 美元賺 7 美元，實現黃仁勳買越多省越多口號 https://tinyurl.com/22z4n5qm GPU 大廠輝達（Nvidia）超大規模和 HPC 業務副總裁兼總經理 Ian Buck，日前公開活動 時表示，客戶投資數十億美元購買新輝達硬體，以跟上 AI 大模型需求，提高收入和生產 力。從投資效益說，硬體用在 AI 大語言模型訓練，投資 1 美元回收 5 美元，如果用在 大模型推理，投資 1 美元更回收 7 美元。 Buck 表示，建設大型資料中心企業特別受惠，四至五年使用壽命內獲豐厚回報。模型訓 練方面，雲端運算商購買 GPU 每花 1 美元，四年內提供算力能收回 5 美元，推理用更 有利可圖，每花 1 美元能有 7 美元回報，且這數字還會增長。 黃仁勳也說過類似的話，Buck 解釋原因。借助 CUDA 演算法創新，輝達將 H100 的 LLM 執行速度提升三倍，將 Llama 3 等模型成本降低三分之一。H200 推理性能較 H100 翻倍 ，對生產有巨大價值。 Buck 舉例，700 億參數的 Llama 3 單台 HGX H200 伺服器每秒輸出 24,000 個 Token， 支援超過 2,400 名用戶，照定價看，託管 Llama 3 的供應商每花 1 美元買輝達 HGX H200 伺服器，四年內從 Llama 3 token 計費賺到 7 美元。 Llama、Mistral 或 Gemma 等 AI 推理模型不斷發展，輝達將開放性 AI 模型導入 NVIDIA 推理微服務 (NIM) 架構，最佳化 Blackwell 架構 GPU 推理執行度。GPU 支援 FP4 和 FP6 類型數據，低強度 AI 負載能提高能效。 輝達資料顯示，與 Hopper 架構相較，Blackwell 架構訓練速度比 H100 快四倍，推斷速 度快 30 倍，能即時運行兆級參數大語言模型生成式 AI，降低成本和能耗 4%。這呼應黃 仁勳喊過多次的「買越多，省越多」口號，但不能忽視，輝達 GPU 價格也快速上漲。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.0.241 (臺灣) ※ 文章網址: https://webptt.cc/bbs/Tech_Job/M.1720707355.A.26A.html