[新聞] GPU泡沫要破了？H100租賃價格崩跌至每小

作者jacknavarra (阿姆羅)

標題[新聞] GPU泡沫要破了？H100租賃價格崩跌至每小

時間Thu Oct 17 10:09:25 2024

原文標題： GPU泡沫要破了？H100租賃價格崩跌至每小時2美元專家：投資者宜分散投資原文連結： https://news.cnyes.com/news/id/5743500 發布時間：鉅亨網許家華綜合外電 2024-10-16 11:24 記者署名：鉅亨網許家華原文內容：根據紅杉資本的最新報告，AI 產業的年產值已超過 6000 億美元，足以支撐數據中心及加速 GPU 卡等 AI 基礎設施的開支。隨著基於 A100 GPU 系列的 GPT-3.5 與 ChatGPT 的推出，AI 競賽自 2022 年 11 月 30 日以來迅速升溫，市場對高效能 GPU 的需求激增。然而，基礎模型訓練的資本支出被廣泛認為是「歷史上貶值最快的資產」，而關於 GPU 基礎設施支出的評估尚未明確，市場競爭依然激烈。以 OpenAI 為首的大型模型公司，其訓練與推理支出已超過收入。OpenAI 最近在有史以來最大的風險投資輪中籌集了 66 億美元，並預計到 2026 年將面臨高達 140 億美元的虧損。與此同時，輝達的新一代 Blackwell 系列晶片已交付給 OpenAI，並表示未來一年的產品已售罄，輝達 (NVDA-US) 執行長黃仁勳稱這可能是行業歷史上最成功的產品之一。在 AI 基礎設施層面，數十億美元的投資究竟是促進行業繁榮還是形成泡沫，成為市場熱議的話題。 OneFlow 市場分析師 Eugene Cheah 深入研究了 H100 SXM GPU 的投資回報率（ROI），指出由於預留計算資源的轉售、開放模型的微調以及基礎模型公司的減少，市場上的 H100 算力已經供過於求。H100 的租賃價格從去年的每小時 8 美元降至如今的低於 2 美元，顯示出市場的劇烈波動。 Cheah 建議用戶在需要時租用算力，而不是進行高額購買。對於按需租賃的 ROI，當租賃價格在 2.85 美元 / 小時以上時，投資者的內部收益率（IRR）仍可保持在合理範圍內。然而，若價格降至 1.65 美元 / 小時以下，則作為基礎設施提供商的虧損風險將大幅上升。在長期租賃方面，許多基礎設施提供商曾在高峰期以每小時 4 美元的價格簽訂合同，如今卻面臨市場價格的急劇下跌。隨著開放權重模型的興起，企業逐漸轉向微調現有模型而非從零開始訓練，這一轉變進一步減少了對 H100 的需求。當前 H100 的價值鏈清晰可見，從硬體供應商到數據中心基礎設施提供商，再到風險投資基金和算力轉售商，各個環節相互交織，形成了複雜的市場生態。市場的變化引發了對未來 AI 基礎設施投資的深思，Cheah 警告稱，當前的 H100 硬體支出可能會導致虧損，投資者應考慮將資金分散到其他領域或股票市場，以獲取更好的回報。當前 GPU 市場的劇烈波動預示著 AI 基礎設施投資的複雜性，投資者需謹慎評估風險與機會，以應對未來可能出現的市場挑戰。隨著市場趨勢的變化，如何在這個充滿不確定性的環境中做出明智的投資決策，將成為未來的重要課題。歸納 H100 租賃價格大跌 (降至 2 美元 / 小時) 之主要因素： 1. 供需失衡：隨著 AI 技術的快速發展，對高效能 GPU 的需求在 2022 年和 2023 年達到高峰，尤其是在大型模型的訓練和推理上。然而，隨著市場逐漸飽和，供應商開始面臨供過於求的情況，導致價格下滑。 2. 競爭加劇：市場上有越來越多的公司進入 GPU 租賃市場，尤其是一些小型和中型企業，它們提供更具競爭力的價格和服務，進一步壓低了租賃價格。開放模型的興起：開放權重模型的出現使得企業能夠使用現有的模型進行微調，而不必從頭開始訓練，這降低了對新硬體的需求，進一步影響了 H100 的租賃需求。投資回報率下降： H100 SXM GPU 的投資回報率（ROI）受到市場價格波動的影響，當租賃價格降至某一水平以下，投資者將無法獲得合理的回報，進而選擇減少租賃或購買。 3. 技術更新與替代品：隨著輝達推出新一代的 Blackwell 系列晶片，市場對 H100 的需求可能會受到影響，因為新技術可能提供更好的性能和成本效益。 4. 經濟環境影響：全球經濟環境的不確定性，包括通貨膨脹和利率上升，導致企業在資本支出上更加謹慎，從而減少了對高價 GPU 的需求。這些因素共同推動 H100 租賃價格從去年的每小時 8 美元驟降至如今的 2 美元，顯示出市場的劇烈波動與不穩定性。心得/評論： ※必需填寫滿30正體中文字，無意義者板規處分昨天這篇新聞包含自由財經也引述報導了, 但看板上還沒出現這篇新聞透過租賃市場的供需看待GPU算力是否過剩蠻有意思的其中分析的第三點, 因為新一代 Blackwell 系列晶片開始投入市場所以是導致H100的租賃價格下跌到 2 美元/小時的主要原因嗎?! 抑或是真的市場算力過剩了??? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.227.145.14 (臺灣) ※ 文章網址: https://webptt.cc/bbs/Stock/M.1729130967.A.762.html

推文 (168)

推 h75221 來嘍鬼故事嗎 10/17 10:10

→ Heyer 大家都自己買誰還要租 10/17 10:11

噓 junior020486 笑死，又要騙票 10/17 10:11

推 olaerc23564 好各單位集中火力 10/17 10:11

→ ter2788 中國那邊早就殺了也沒繃阿 10/17 10:11

推 goodevening 不是很正常？？現在就沒殺手級運用阿科技巨頭都是 10/17 10:11

→ goodevening 怕FOMO 等未來吧 10/17 10:11

推 etset 不是早就講了買越多省越多 10/17 10:11

→ etset 算力要貶值幾萬倍 AI才會普及 10/17 10:12

推 Adrian 等到可人人自產a片再來煩惱算力過剩 10/17 10:14

→ gprs910 好你害怕我先買 10/17 10:14

推 onekoni 鬼故事來囉又要騙散戶廖廖的地方 10/17 10:15

推 a069275235 真的假的啦= = 跟高檔網咖差不多錢@@ 10/17 10:15

→ knives GB200都要出來了，誰還要用舊的 10/17 10:15

→ onekoni NV回90記得歐印 10/17 10:15

→ moom50302 這種都是直接買來長期投資AI領域的，誰在租…… 10/17 10:16

推 tmdl 大陸一堆 10/17 10:16

→ ahwung 如果租很便宜，那也是一個選擇 10/17 10:17

推 QooSnow 「雞蛋架！」「一級棒！」 10/17 10:18

→ tctv2002 可以租GB200 幹嘛還要租H100？ 10/17 10:18

推 hn022 舊的沒人想要 10/17 10:18

推 EvilJustice 完了QQ 10/17 10:18

推 spa41260 電子產品就是這樣，舊的很快被淘汰，新的又越賣越 10/17 10:19

→ spa41260 便宜 10/17 10:19

噓 stationary overbooking 2.0 10/17 10:19

推 SSglamr 丸子 10/17 10:19

→ piece1 沒人要剩下的..... 10/17 10:20

推 AndyMAX Overbooking！AI is over！ 10/17 10:20

推 strlen 算力過剩XD好喔 10/17 10:21

推 slothman 網咖都沒這麼便宜 10/17 10:21

→ ActionII 為啥不租？巨頭自用租人兩相宜啊 10/17 10:22

推 as920909 軍備競賽怕的不是賠錢吧 10/17 10:22

推 Lhmstu 舊了 10/17 10:23

→ Lowpapa 幹這真的超級鬼故事 10/17 10:23

推 spa41260 2022上演過一次了，顯卡庫存過剩 10/17 10:23

推 baddaddy 跟3c一樣，舊款跌價很快 10/17 10:24

推 TameFoxx H200都出了 H100當然降價 10/17 10:24

推 pponywong 說個笑話最早的電腦ENIAC 造價數百萬美元 10/17 10:24

→ pponywong 現在買PC 台幣3萬 PC市場要崩了 10/17 10:24

→ TameFoxx 而且這種租法不會讓你一次只租幾小時 10/17 10:24

→ TameFoxx 新品出來買一百萬出租可能2年就會本 10/17 10:25

推 y800122155 這叫算力通膨 NV每年2倍2倍的提高新產品算力你舊產 10/17 10:26

→ y800122155 品當然只會一直崩但如果不想被超車每年都要買GPU 10/17 10:26

推 Gipmydanger 觸類旁通https://imgur.com/3uLO6DU 10/17 10:26

→ tomdavis GB200都要出來了 H100運算效率被屌打 10/17 10:29

推 josephpu 老黃越出越強，有的選誰要租h100... 10/17 10:29

→ y800122155 NV目標是十年提升一百萬倍算力等於舊產品用兩年就 10/17 10:30

→ y800122155 會變成佔空間的垃圾 10/17 10:30

推 jc761128 不便宜怎麼普及? 10/17 10:31

→ jacknavarra 如果產品兩年後變成垃圾, 那用租的比較划算吧?! 10/17 10:32

推 Lhmstu 但是其實很多小型的AI應用很需要這種相對便宜且夠 10/17 10:32

→ Lhmstu 用的算力 10/17 10:32

→ jc761128 手機一隻百萬誰能接你電話XD 10/17 10:32

推 breathair 這…這不就是NV不敗的原理嗎？算力一 10/17 10:32

→ breathair 直提升，算力成本一直下降。拿債券比喻 10/17 10:32

→ breathair 舊債券發5%利息，新債券發10%，舊債 10/17 10:32

→ breathair 券淨值不是就貶到爛了，還有電費的問題 10/17 10:32

→ breathair 簡直沒人要了 10/17 10:32

→ Aerogel 詐團應該會低價掃貨吧！ 10/17 10:33

推 gamixxxx Overbooking 10/17 10:34

推 h0103661 對高端是垃圾，不代表其他人不用啊，降價就是為了 10/17 10:34

→ h0103661 吸引低價市場。 10/17 10:34

推 julian42 gb2000明明還沒出你有看到iphone16還沒出15先降嗎 10/17 10:38

推 breathair 不管用租的，還是買的，量大便宜，最新 10/17 10:39

推 Lowpapa 真的一堆人在壯膽 10/17 10:39

→ breathair 的最便宜，所以舊的，貴的，一定重貶 10/17 10:39

→ breathair 新的，便宜的，一定搶破頭，道理就是這 10/17 10:39

→ breathair 麼個道理 10/17 10:39

推 Heedictator 顯卡不就這樣 10/17 10:40

推 junior020486 還沒出本來就會降，16要出之前，通訊行都降爛了 10/17 10:40

推 spa41260 nv沒有不敗，之前就是這樣差點完蛋，幸好有好幾次 10/17 10:40

→ spa41260 運氣好被救活 10/17 10:40

推 y800122155 我指的垃圾是以算力/單位價格來看，不管高低端需 10/17 10:40

→ y800122155 求，越新的產品CP值也是每年2倍2倍在提高，就算低端 10/17 10:40

→ y800122155 需求，誰不想用CP值高的？這就老黃說的買越多省越 10/17 10:40

→ y800122155 多，你一直用舊產品，就是越用越盤罷了 10/17 10:40

推 haworz 幹你媽的顯卡要降價這句話從疫情前就一直講到現在 10/17 10:41

→ haworz 老黃還是加價賣啊 10/17 10:41

推 shorty5566 前幾個禮拜才在喊崩現在漲上來又喊崩被打臉不膩嗎 10/17 10:41

→ breathair 你把算力換算成賺錢的能力，或是技術力 10/17 10:42

→ breathair 越新的越強，單位成本越便宜，你有什麼 10/17 10:42

→ breathair 道理要用舊的？舊的崩越快，代表新的 10/17 10:42

→ breathair 越強，這千萬不能解讀錯了 10/17 10:42

→ haworz 以前是先買先享受，後買享折扣，現在是越晚買越貴 10/17 10:42

→ haworz 。 10/17 10:42

推 spa41260 之前一段時間靠比特幣挖礦苟延殘喘，2022庫存過剩 10/17 10:43

→ spa41260 時也快完蛋，幸好後來有ChapGpt把它救活 10/17 10:43

→ GN02209611 看晚上華西街殺不殺才能知道他們對AI的新態度 10/17 10:43

→ jacknavarra 以租賃取代購買會不會更划算??? 10/17 10:44

噓 maplefff 大哥現在都H200, 要換代B200了 10/17 10:44

→ maplefff 你這樣跟用iPhone 13價格說iPhone 16 10/17 10:44

→ maplefff 滯銷有什麼不一樣 10/17 10:44

→ shorty5566 只要算力有需求NV就不可能完蛋 10/17 10:45

→ shorty5566 NV酸很急大概因為沒買到NV 10/17 10:45

推 OhtaniHR over booking2.0 10/17 10:46

噓 inoce 緯創崩 10/17 10:47

推 clecer 一堆需求只需要推論而已，LLM才需要用最新最強大晶 10/17 10:47

→ clecer 片做訓練，看來GPU崩盤時間快了 10/17 10:47

噓 Blastodern 是不是想騙散戶賺錢的地方？ 10/17 10:47

推 Brioni Overbooking 最快也要明年下半年，還有得炒 10/17 10:48

推 y800122155 推論也是看CP值啊，最新產品不管訓練推論都是CP值最 10/17 10:50

→ y800122155 高的，除非你舊產品可以每年跌超過1/2 10/17 10:50

→ shorty5566 沒錯要崩了你是股神 10/17 10:51

→ xeins 訊號來了 in 10/17 10:51

推 happylinadog 新的出了誰要租舊的 10/17 10:53

→ LDPC =_=.....算力永遠不嫌多啊都講了n次了 10/17 10:54

推 HisVol 終端需求不夠，沒商機，算力不就過剩了，難道賺不到 10/17 10:56

→ HisVol 錢也要為了算而算？ 10/17 10:56

噓 GivemeApen 廢話有新的誰要用舊的 87新聞 10/17 10:56

推 CADDEE 真假算力過剩了嗎 10/17 10:57

→ LDPC 終端需求也有企業需求去看資料中心那些資料就知道 10/17 10:58

→ LDPC 你這論點就跟回到1990說記憶體10M就夠用 cpu也是 10/17 10:58

→ mntonmylife 每小時8美元也太貴,租車都比較便宜 10/17 10:58

→ LDPC 亞麻現在所有消費資料都已經用genAI+RAG去做了 10/17 10:59

推 breathair 算力過剩了啊，iPhone 9沒人要了，垃圾 10/17 10:59

→ LDPC 你們消費者大概也不知道後面搜尋機制已經變了 10/17 10:59

→ lmc66 別怕至少我們還有夢 10/17 10:59

推 sussj 完了，要泡沫了，快逃啊 10/17 11:00

→ LDPC 狗家現在所有下游服務客戶全部都換成gemini 10/17 11:00

→ LDPC 你大概也不知道你用的服務已經用更高階genAI 10/17 11:00

推 andy76222 就像新一代手機出來，上一代降價不是很正常？這樣 10/17 11:01

→ andy76222 就泡沫？ 10/17 11:01

推 sdbb 99GOOG 10/17 11:01

推 gk1329 你我500 10/17 11:03

→ thg156yu789 很正常吧不就跟網速一樣價格越來越便宜 10/17 11:04

推 Melomomo AI又要over了… 10/17 11:04

推 imba789 買舊產品的變成冤大頭 10/17 11:05

→ jacknavarra 可以用租的就不會變冤大頭了 10/17 11:06

推 xx890197 真正的供不應求應該是跟2017年挖礦市場一樣，連二 10/17 11:07

→ xx890197 手顯卡都在加價賣，現在去年算力貶值成這樣，還這 10/17 11:07

→ xx890197 麼供不應求嗎？ 10/17 11:07

推 DevenW AI的問題是，當一個夠好用的AI被訓練出來，還需要 10/17 11:08

→ DevenW 一堆人提供服務嗎 10/17 11:08

推 Samurai AI正在極速發展，搞不清楚狀況的人還很多，現在萬 10/17 11:10

→ Samurai 事具備只等LLM成熟，終端消費市場就會爆發 10/17 11:10

推 amorose77 然後七巨頭還是拼命買 10/17 11:14

推 iWatch2 這家還真多割韭騙票新聞推個 10/17 11:16

推 y800122155 現在沒有瘋搶H100 那是因為GG CoWoS先替你瘋狂增產 10/17 11:27

→ y800122155 了啊 10/17 11:27

推 ten9di9 都用買的，誰要租 10/17 11:31

噓 s1612316 沒有終端消費需求舊的直接變垃圾泡泡真的要來了 10/17 11:34

→ s1612316 手機有人會用舊的 AI競賽有人用舊的?XD 10/17 11:35

→ amaqua 晶片版的蒜粒過剩... 10/17 11:44

→ Zexion 騙票 10/17 11:45

→ LightWorker AI 要泡沫化了 10/17 11:57

推 chysh 反正H100終究停產，現在只是在壓榨殘值，而且因為對 10/17 12:01

→ chysh 中國的晶片禁令，中國沒門路拿到晶片的廠就只能租算 10/17 12:01

→ chysh 力 10/17 12:01

推 notime 丸子 10/17 12:05

推 Latte7 還蠻好笑的推論 10/17 12:07

推 Litfal 2鎂小時好像不貴欸，用一張25k鎂來算可以跑520天還 10/17 12:21

→ Litfal 不用電費欸 10/17 12:21

推 mc2834 是機房效率的問題好嗎？跟算力過剩無關… 10/17 12:23

推 shinnim 87新iPhone 出來舊的不會降價嗎== 10/17 12:32

推 aaaaaaaa9 iPhone 4價值崩盤，原本3萬多台幣，如今1000元都沒 10/17 12:37

→ aaaaaaaa9 人買，蘋果信仰不再？ 10/17 12:37

推 brad001 想騙我股票門都沒有 10/17 12:48

推 prtscscroll 每季都能炒一次的話題等你砍掉股票後 AI投資無法變 10/17 12:54

→ prtscscroll 現又不是問題了 10/17 12:54

推 stlinman 早些用H100的早就回本了吧! 以後賣掉還有殘值，賺爛 10/17 12:56

→ stlinman 了吧! 難怪老黃敢說買越多省越多。 10/17 12:56

推 oxlittle 大公司不會把資料拿去雲端算吧 10/17 13:06

推 steven1220 難怪弘毅股跌的跟屎一樣 10/17 13:12

推 alphish 鬼故事一職來到底法說之後會噴到哪裡去~期待 10/17 13:23

推 breathair 噗，法説結束，這串就閉嘴了 10/17 14:49

推 shawncarter 吃貨文啦 10/17 14:49

推 aresa 去年8元一小時，241天就回本了，你跟我說賠錢 10/17 15:17

推 linfon00 每個禮拜崩一次 10/17 16:42