📋 PTT 文章瀏覽
作者LDPC (Channel Coding)
標題Re: [請益] 費半成份股全線崩盤 怎麼辦？
時間Mon Jan 27 14:13:09 2025
原文PTT 原始連結 ↗
DeepSeek這塊有幾個看法 Training端就等之後瓜出來再吃 在Inference這塊 因為受限於MoE 所有推論成本可以降下來 但需求變高的是用記憶空間 和各個node之間的通訊開銷 以及軟體上cpu/gpu的load balance 以deepseek v3來說 600GB+ fp8 需要許多平行運算 這意味通訊瓶頸很重要 因為在切換專家時候 延遲會因此也跟者追加 而記憶體需求開銷也很大 另外一點就是37B Activation是主因讓推論可以成本下降 (不用全部671B來跑) 以h100來算這會讓同樣算力 成本下降10倍以上 但對算力晶片load balance和通訊跟記憶體開銷需求也跟者增大 但對於同樣算力可以提高10倍以上token產出 MoE好處就是更適合特制化的低成本下游任務 不適合泛化場景 所以不能用在機器人 這種場景多變任務上 這就代表 假設Deepseek最後成為低成本主流 這意味還是只有老黃能吃下它 (因為需要昂貴load blance 通訊開銷 高需求vram) ASIC那邊不適合用在MoE架構 這些低成本就某種意義會解鎖ai產品化 原本之前最大問題就是 現有的模型在Inference產生token的電力成本太貴 如果能讓現有成本下降 這樣才會能直接適用到消費端去 並不是說 提高tokens生產數量/單位算力 就等於減少鏟子賣出 事實上 token數量/單位算力 過低 會造就無法ai模型落地化 反而產子賣不出去 最好的例子就是DeepSpeed (AI Backend 優化) 這玩意一年前 微軟就用它來提高 tokens數量/單位算力 號稱能增加1.5~3倍快同樣算力 結果微軟反而願意花更多錢買算力 這波最大意義大概就是會變動推行MoE架構 然後ASIC死去 QQ 而老黃有NVLink 和壟斷HBM產量 又有良好的cuda為主的AI Backend做load balance 感覺很難輸 說到底 最簡單的觀察就是看1/23微軟財報的資本支出 微軟在01/03說出2025 80B (Deepseek v3 12/26/2024 模型釋出) 如果01/27資本支出維持原案 那就沒啥太大擔心 -- MoE缺陷:需要把所有專家放入內存 對顯存(VRAM)壓力需求高大 高熬貴通信成本 不利模型泛化性 適合單一任務(畢竟你只用了原本模型部分activation parameter) ※ 引述《keio5566 (56不滅)》之銘言： : 是不是又是GG的勝利 : 能夠用科技大頭的5%成本就能開發AI : 意味著行業的進入門檻變低，AI元年正式啟動 : 最高端產品的銷量受影響，但接下來市場要的是便宜堪用的產品 : AMD吃到一波紅利，整體晶片代工需求繼續增加 : 苦的是NV，GG依然贏麻了= = : 大家恐懼我貪婪 : 2025年抄底GG的最佳時刻是否即將到來？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國) ※ 文章網址: https://webptt.cc/bbs/Stock/M.1737958391.A.808.html ※ 編輯: LDPC (76.21.72.78 美國), 01/27/2025 14:15:02 ※ 編輯: LDPC (76.21.72.78 美國), 01/28/2025 00:57:17

推文 (123)

推 HenryLin123 NVDA > AVGO 嗎？ 01/27 14:14
推 acidrain 海力士/美光利多 01/27 14:15
推 davie11333 弄HBM的MU還有救嗎 01/27 14:15
推 ck326 微軟支本支出不太可能有什麼變，時間這麼短 01/27 14:16
推 aspirev3 想知道萬潤和法師的看法QQ 01/27 14:16
推 MacBookAir12 其實反而應該是AVGO 的利空...3661 3443... 01/27 14:20
推 jumilin927 推 低成本的ai晶片不妙 01/27 14:20
推 strlen https://i.imgur.com/1glBeN3.jpeg 說到微軟 剛剛 01/27 14:21
→ strlen CEO也發推了 立場很清楚了吧 01/27 14:21
推 Brioni 資本支出不可能短時間修改+1 01/27 14:22
推 qweaaazzz 推推，好人一生平安 01/27 14:22
推 MacBookAir12 前一陣子有炒作一波ASIC 現在通通都要下去 01/27 14:22
→ Brioni 但股價可以短時間劇烈波動 01/27 14:23
推 HiuAnOP 其實更優的成本對軟軟，狗哥，雅麻，詐騙公司都是 01/27 14:23
→ HiuAnOP 長期利好 01/27 14:23
→ HiuAnOP 短期跌一下前期投入根本沒差，祖大少元宇宙虧爛還 01/27 14:23
→ HiuAnOP 不是好好的 01/27 14:23
→ MacBookAir12 然後AIPC 或許可以提早放量 01/27 14:24
推 JoshBeckeet 但avgo 股價還未受到衝擊 01/27 14:24
推 Jerry469 3661死去 01/27 14:24
→ MacBookAir12 甚至不需要額外NPU去運算了<-這比較極端想法XD 01/27 14:24
→ Brioni 再來就是次級玩家不一定要追GB200、GB300 01/27 14:24
推 s987692 那怎麼看AMD去搶推論這塊？ 01/27 14:24
推 jerrychuang 99 MU 01/27 14:25
→ MacBookAir12 AVGO可能要等市場開盤之後會比較清楚 01/27 14:25
→ MacBookAir12 現在美國那邊還是27號凌晨 01/27 14:25
推 abcd5566 如果是有效率的話 資料中心一定越蓋越多 01/27 14:25
推 jumilin927 ASICㄘㄨㄚ、勒蛋 01/27 14:25
→ zer0319 如果DS能這麼低成本達成80%水準，那這些大頭應該是 01/27 14:26
→ zer0319 研究怎麼讓資本支出跟成效比例合理，而不是降低支出 01/27 14:26
→ zer0319 吧，不然這些大頭一堆現金要幹嘛 01/27 14:26
推 uuuc1223 請問交換器需求的看法？ 01/27 14:28
→ Brioni 根據過往Cost down財報噴！股價噴！ 01/27 14:29
推 MacBookAir12 能不能COST DOWN 我覺得先看論文 可不可能重現 01/27 14:30
推 sheep2009 利多吧 一堆人加入ai反而csp要更多算力租借出去 01/27 14:30
→ MacBookAir12 DS使用類似當初GOOGLE 圍棋那套方式去自我訓練 01/27 14:30
→ MacBookAir12 然後5萬張H100 傳聞也不知道真假XD 01/27 14:31
→ MacBookAir12 不過MoE模型的確是可以有效降低成本 這沒錯 01/27 14:31
→ MacBookAir12 最後變成是賈維斯跟事務型機器人的對決XD 01/27 14:32
→ zer0319 最終目標還是拼出AGI，其他都是過渡 01/27 14:33
推 aegis43210 還早，各大廠可以用DSP來提前適應新的推論需求，而 01/27 14:33
→ aegis43210 記憶體方面用HBM2E也足夠應付推論需求 01/27 14:33
→ aegis43210 DS這套不可能成為AGI，這是提前耗盡潛力的模型 01/27 14:36
推 King530678 結論：NV 多更多 01/27 14:36
→ CCH2022 的確，NV LINK還是優勢，與軟體的平衡。AI基建的需 01/27 14:39
→ CCH2022 求還是持續。 01/27 14:39
推 onekoni 推分析 謝謝 我差點想成反的方向 01/27 14:39
推 tsukuyomii 以美股現在來看 感覺是NV AVGO TSM三殺 01/27 14:39
推 onekoni 短線通殺一定的 重點是殺完買誰 01/27 14:40
→ onekoni 年後有殺來買點老黃@@ 01/27 14:41
推 dani1992 論文裡就寫alphago那套MCST失敗了，是怎麼看的 01/27 14:41
推 s800525 第一天看科技股？通常消息出來都先漲/殺，之後再來 01/27 14:42
→ s800525 澄清再反轉，都懷疑那些資金趁消息出來故意拉/壓股 01/27 14:42
→ s800525 價作法 01/27 14:42
推 Brioni 殺完整理籌碼繼續往上 01/27 14:42
推 kill2400 可是股價不是這樣反應喔 01/27 14:42
推 sharkpops 不過我剛剛請他幫我讀個股報告 說報告內容違反政策 01/27 14:42
推 tsukuyomii AVGO不止做ASIC 交換器 網通 光通訊都做 就算沒AI A 01/27 14:43
→ tsukuyomii SCI也是持續成長的東西 AVGO就算這個利空也很難崩跌 01/27 14:43
→ tsukuyomii 畢竟她產業太多樣 01/27 14:43
推 jumilin927 殺完如果最終評估不受影響還是噴回來 哪次不是這樣 01/27 14:44
推 JoshBeckeet 總覺得華爾街不會亂買再亂殺XD 01/27 14:45
推 sharkpops 應該是指完全不依賴人類知識...接近alphazero... 01/27 14:46
→ sharkpops 華西街最擅長的就是亂買跟亂殺啊XD 01/27 14:46
推 jacktypetlan https://i.imgur.com/HUKLWkC.jpeg 01/27 14:48
→ jacktypetlan 很有趣 可以自己去問看看 01/27 14:49
推 watashino 認真文 給推 好人 01/27 14:49
推 dongdong0405 這才是有料的發文 不像那些無腦黑無腦吹的 01/27 14:53
→ squelch GPT-4 不也是 MoE? 差在哪裡? 01/27 14:53
推 lolpklol0975 https://i.imgur.com/FhzpfAY.jpeg 01/27 14:53
→ vicklin 很久以前PTT這種很多.. 01/27 14:53
→ squelch 問題是這篇怪怪的，機器人如果不聯網。 01/27 14:54
→ squelch 請問憑機器人有限的算力與記憶體 能使用什麼模型? 01/27 14:55
→ squelch 機器人問題跟自駕系統是一樣的。 01/27 14:56
推 audic 感謝好人一生富貴 01/27 15:00
推 allen0080 優質好文。 01/27 15:00
推 ImHoluCan 推 01/27 15:03
推 JoshBeckeet NV盤前7%了？真嘟假嘟 01/27 15:09
推 fuhoho 推 01/27 15:11
→ IBIZA NV差不多跌7%沒錯 01/27 15:20
→ IBIZA 不過現在還不到盤前時間 是黑池交易所跟券商內部 01/27 15:22
→ IBIZA 報價 01/27 15:22
推 JoshBeckeet 達人說TSM也快7%了，真的是腥風血雨 01/27 15:26
推 patri0052 今天晚上可以接刀子嗎 01/27 15:27
→ IBIZA TSM -6.57% 01/27 15:28
→ pilimew HBM只是這幾年的過渡期產品，沒跟上的不需要追高。 01/27 15:32
→ bnn 講白了 你人類接上網之前怎麼學習的就怎麼學習 01/27 15:33
→ bnn 不聯網只是比較智障 但你很多工作本來也只需要智障 01/27 15:33
→ bnn 一堆訓練真的需要聯網嗎 他這模型是在節省訓練&記憶 01/27 15:34
→ s860703 開盤台積連跌停兩天我就相信 01/27 15:36
推 cosmite 好人推 01/27 15:38
→ vicklin 這種極端工作條件總感覺有免洗軍用衍生的用途 01/27 15:41
推 zxzx8059 nv出了比avgo還猛的pcie sw才會是avgo利空 01/27 15:43
推 Brioni 讓子彈飛一會兒 01/27 15:46
→ wed1979 記憶體跟SSD不就長江庫存超多，換別的地方還真沒這 01/27 15:48
→ wed1979 條件 01/27 15:48
推 popo123456 Chatgpt meta google Amazon 早晚會下去吧,中國用免 01/27 15:58
→ popo123456 費跟你競爭,怎麼玩下去 01/27 15:58
噓 cht12341234 我是相信後年b通就會讓老王吃屎 01/27 15:58
→ cht12341234 nvlink沒那麼厲害 01/27 15:59
推 pucca068 這重點不是大陸不再受到美國限制嗎…..如果ai可以 01/27 16:01
→ pucca068 自己研發到這程度話～世界就不再是美國說了算歐～ 01/27 16:01
→ pucca068 單純討論公司間的影響的話～我覺得意義不大～ 01/27 16:02
推 s1001326 誰可以寄信給教主發文 快瘋了 01/27 16:15
→ roseritter 記憶體要HBM吧 長江也有這麼多嗎 01/27 16:15
推 oGsMvP 99 B康 01/27 16:19
推 beavertail97 跌深就是給上車的，趕快開盤 01/27 16:24
推 ubei 長江有做HBM嗎？我記得沒有吧... 01/27 17:00
推 ymlin0331 AVGO的ASIC是CSP大廠自研晶片 01/27 17:48
→ ymlin0331 怎麼可能沒有量？傻傻的 01/27 17:48
推 sean667cd 參考了LD大和其他論述、這幾天想一想，推出來了後續 01/27 18:15
→ sean667cd 方向也差不多，LD大猛 01/27 18:15
→ poru 有我川在.美國AI絕不可能輸的 01/27 18:18
→ poru 反倒會激起我川更激烈的管制 01/27 18:19
→ sean667cd LD大後續會布 CRM , SAP (SAAS) / PLTR (特定API) 01/27 18:21
→ sean667cd 領域麻，算力成本、選擇變多情況下游，我覺得應該受 01/27 18:21
→ sean667cd 惠 01/27 18:21
推 abdiascat https://i.imgur.com/mIMzXDs.jpeg 01/27 18:25
推 nina801105 2/3日紅盤日，世芯跟台積電開盤跳空跌停鎖死 01/27 18:49
推 joseph2616 前面一堆廢文 01/27 18:58
→ joseph2616 這篇才是有效討論 01/27 18:58
推 josephpu ASIC出世AMD遭殃，DS出世ASIC遭殃，99蘇媽 01/27 19:34
推 ksjr 不過deepseek r1 一個禮拜前01/20才出 01/27 22:33
‹ 回 股票板 列表