📋 PTT 文章瀏覽
作者asin404 (asin404)
標題[新聞] Google壓縮技術可省記憶體大小達6X
時間Thu Mar 26 17:38:06 2026
原文PTT 原始連結 ↗
https://money.udn.com/money/story/5599/9403705?from=edn_newest_index Google發表了一種演算法並宣稱這技術能改善 AI 模型的記憶體使用效率 。受此消息影響，記憶體晶片和儲存概念股周三全面下挫。 美光股價跌3.4%，盤中一度大跌6.1%，連續五日下跌；Sandisk大跌 3.5%，連續四個交易日 下跌。儲存裝置製造商希捷（Seagate）和威騰電子（Western Digital）股價周三各跌2.8% 和1.6%。 亞洲記憶體股周四開盤也跟著重挫，三星電子和SK海力士各跌2.8%和3.4%。 Google周二晚上推出了 TurboQuant壓縮演算法，並說 TurboQuant不僅提升 AI 模型速度和 效率，也能大幅減少記憶體使用量。 這項演算法針對的是「向量」（vectors），其功能是協助 AI 模型理解並處理從簡單到複 雜的資訊。Google 解釋說，高維度向量會消耗大量記憶體，進而在「鍵值快取」（KV cach e）產生瓶頸；而此快取技術正是讓 AI 模型能「記住」已處理過的資料，進而加快回應詢 問速度的關鍵。 雖然高維度向量可透過「向量量化」技術來壓縮，但 Google 說，這技術本身也會產生記憶 體問題，因為需要計算和儲存額外數據，「這在某種程度上違背了向量量化的初衷。」Goog le 去年 4 月發表研究論文所提出的 TurboQuant，正是為了解決這個問題。 記憶體和儲存裝置製造商先前因零組件短缺，能大幅調漲價格。如今，有投資人可能認為 A I 指標企業未來不再需要這麼多記憶體，削弱美光等供應商強大的定價權。 但也有人認為事情沒那麼簡單，因為當技術進步降低了資源成本時，反而會因為資源變得更 容易取得，進而推升了需求。 Google 說，其新型壓縮演算法能將 AI 模型的鍵值快取（KV cache）記憶體用量減少至少 六倍，並將速度提升高達八倍，這實質上降低了「推論」（即執行 AI 模型）的成本。有分 析師拿傑文斯悖論（Jevons paradox）解釋，這將帶動 AI 模型的普及，進而導致對記憶體 更多的需求。 Lynx Equity Strategies發給客戶的報告中寫道：「Google 所詳述的方法，在未來 3 到 5 年內幾乎不會減少對記憶體和快閃記憶體的需求，因應供給極度受限，」這個研究機構重 申了對美光 700 美元目標價；美光周二收盤價為 382美元。 =========== 難怪這幾天 華邦跌破百了還在繼續跌 旺宏直接躺平亮燈 群聯見不到底的跌了再跌 有潘董買自家股票的加持也沒用 南亞科有私募基金的大話題加持 一樣紅燈直下轉綠 難怪廠務設備今天一起狂跌 因為華爾街人認為 只需要1/6記憶體的產線就夠用了 不需要擴廠 Memory is over?? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.217.58.149 (臺灣) ※ 文章網址: https://webptt.cc/bbs/Stock/M.1774517889.A.1AC.html ※ 編輯: asin404 (49.217.58.149 臺灣), 03/26/2026 17:39:43 ※ 編輯: asin404 (49.217.58.149 臺灣), 03/26/2026 17:53:17 ※ 編輯: asin404 (49.217.58.149 臺灣), 03/26/2026 17:56:57 沒亮紅燈鎖死啊 亮紅燈一下下就直下轉綠了 這麼大的話題都能紅燈轉綠 所以Memory is over? ※ 編輯: asin404 (49.217.58.149 臺灣), 03/26/2026 18:05:26 ※ 編輯: asin404 (49.217.58.149 臺灣), 03/26/2026 18:08:02 ※ 編輯: asin404 (49.217.58.149 臺灣), 03/26/2026 18:29:41 ※ 編輯: asin404 (49.217.58.149 臺灣), 03/26/2026 18:31:01

推文 (268)

→ ericf129 貼新聞都不會= =? 03/26 17:38
推 cuteSquirrel 樓下記憶體專家 03/26 17:38
推 amhs 蹦蹦 03/26 17:39
噓 ppmaker 不可能 絕對不可能，如果是真的我要跳了！！！ 03/26 17:39
→ kinve1014 宣稱 嗯 壓低吃貨囉 03/26 17:40
→ luche 記憶體廠商先制裁 03/26 17:40
噓 thetide0512 你先OVER 03/26 17:41
推 tom77588 跟日本的壓縮機一樣稀少 03/26 17:42
推 pigu66 莫忘deepseek 03/26 17:42
→ tctv2002 狗家這麼厲害 03/26 17:42
推 LongBigShort 再囤啊 03/26 17:43
推 richardz 記憶體降下來絕對是消費者利多rrrr，終於可以開始 03/26 17:43
→ richardz 換電腦了嗎 03/26 17:43
推 lastsodeep 聽說舊的概念吧！而且一週下來goog好慘 03/26 17:45
推 stcr3011 有大神可解釋原理嗎 想不透 03/26 17:45
推 s074074qq 投資人的錢包也被壓縮了 03/26 17:46
→ stcr3011 是減少快取的使用量嗎 03/26 17:46
→ appledick 這根本就沒影響 03/26 17:46
推 bobjohns 那google改賣記憶體豈不賺爛 一條當六條賣 那就全 03/26 17:47
→ bobjohns 市場記憶體全收來 我賣6倍 03/26 17:47
→ appledick 借機出貨而已 03/26 17:47
推 baolidab 我解釋一下原理：記憶體廠商吊高價，有人不爽，跟 03/26 17:47
→ baolidab 你翻桌。 03/26 17:47
→ baolidab 就是這樣XD 03/26 17:47
噓 ice80712 Google and 記憶體 is over 03/26 17:47
→ bobjohns 那毛利直接突破天際 03/26 17:48
推 sdbb 跟衣物壓縮收納袋一樣 03/26 17:48
→ HarukaLM google一起跌... 03/26 17:48
推 Gaujing 總需求會上昇，降低單位成本，釋放更大需求，賣壓 03/26 17:48
推 kuominj 這兩個都一起over 03/26 17:48
→ Gaujing 那是在騙下車 03/26 17:48
→ stcr3011 os主記憶體量不會減少吧 還是我才疏學淺 03/26 17:48
推 q8977452 說deepseek的 google的理論是前面的耶... 03/26 17:48
推 HGT7473 研究階段也能殺 03/26 17:48
→ Feting 跟這沒什麼關係，記憶體早幾天就開始走弱，單純要 03/26 17:48
→ Feting 開始套人 03/26 17:48
→ sdbb 空間變大只會塞更多的東西或衣物 03/26 17:49
推 horse2819 好的 所以你技術開源嗎 03/26 17:49
推 mp5k6 這消息禮拜二就公布了 你也太慢才知道了吧 03/26 17:50
推 Eide https://i.imgur.com/8yWNRCQ.jpeg 03/26 17:50
→ azure 線照跑 股照跳 一個循環提早結束回歸而已 03/26 17:50
→ tw19930419 公布幾天的事 傻人多 03/26 17:50
→ ojh 估狗自己也崩爛了 03/26 17:50
推 xm3u4vmp6 需求會加大 一般人終於買得起 跑得動大模型 03/26 17:51
噓 max0616 新聞沒貼全文 03/26 17:51
→ asjh612 google股價也是軟軟 03/26 17:51
推 ymx3xc 4G RAM的安卓機 直接變旗艦24GB 03/26 17:52
推 zero790425 這個技術蠻重要的 尤其現在上下文長度越來越吃記憶 03/26 17:53
→ zero790425 體 03/26 17:53
→ herculus6502 gpu cpu 重返農藥 03/26 17:53
推 furnaceh 用魔法優化魔法 03/26 17:53
推 Dazzium 不就deepseek 03/26 17:54
→ qxrvymo 不給活路 03/26 17:54
推 lobotime 一堆人的理解能力不在線 03/26 17:55
推 pkh1234 時間換空間 算的夠快的話就不用那麼多記憶體 03/26 17:55
推 hensel 降到1/6，不就是要讓人薯條加大 context約吃越多嗎 03/26 17:55
→ orz811017 只會越用越多啦 03/26 17:56
推 jay3u7218 有這麼神嗎？？？ 03/26 17:57
噓 YesNoter ai殺手 03/26 17:57
推 ga3322165 能塞越多，只會更貪婪 懂得就懂 03/26 17:58
噓 wiki67la 跟deepseek 一樣吃貨啦，就算壓縮，你ai量大，難道 03/26 17:58
→ wiki67la 就不需要記憶體嗎？ 03/26 17:58
推 foolwind 那不就可以賣6倍價格 超爽的 03/26 17:58
→ AustinRivers winrar比較好用 03/26 17:58
→ hanklee66 那google這麼厲害怎麼沒漲… 03/26 17:58
→ CYL009 www 03/26 17:58
推 c928 然後變成智障AI 03/26 17:59
→ Waitaha Google是黑科技大本營 03/26 17:59
→ foolwind 原來的16G當96G在賣 03/26 17:59
→ tello 記憶卡蛙還有幾天可以逃 03/26 17:59
推 energy100203 ai需求很難變少捏 03/26 18:00
推 CCLemonn 可是估狗緩跌中 03/26 18:00
推 recruit GOOG盤前負的 03/26 18:00
推 hanklee66 不過按照過去經驗 煤炭使用效率大幅提高 結果反而是 03/26 18:01
→ hanklee66 更多人能用 煤炭反而越用越多 03/26 18:01
推 joyeszhang 記憶卡蛙： 03/26 18:01
推 EdenEden 結果google股價超爛 哈 03/26 18:01
推 heavensun 演算法沒哪麼神， 這幾年AI爆發 94靠硬體支援算力 03/26 18:02
→ heavensun 記憶體趨勢不變 大廠都認南亞科的私募惹 03/26 18:03
噓 wu90315 演算法哪裡沒有那麼神？演算法是演算法，算力是算力 03/26 18:04
→ wu90315 ，完全不一樣的東西 03/26 18:04
推 Kewseq 完了 教主的賣逼買mu 反指標嗎w 03/26 18:05
推 bobokeke 記憶體漲價就是通膨啊，哪有東西不用記憶體的 03/26 18:05
→ desion30 不是本來就有的東西嗎 這個改版不是只多壓20%？ 03/26 18:05
推 h0103661 KV cache 佔總體大小10-20%而已，而且早就有相關的 03/26 18:07
→ h0103661 壓縮技術，這個只是號稱損耗比較低 03/26 18:07
噓 andy79323 壓縮 kv cache在做上下文優化 03/26 18:07
→ andy79323 未來模型只會越大 硬體book能縮 03/26 18:07
推 a11011788 能省還不加進去算爆？ 03/26 18:07
推 saiya 其實跟sndk沒關係吧 mu , sk , samsung 才有影響 03/26 18:07
→ tw19930419 那google還不噴到外太空 傻子連市場都不信了 03/26 18:08
推 sdbb @andy79323 推book能，有梗 03/26 18:08
→ lightson 出貨什麼都可以說 03/26 18:09
噓 yurmom 笑死 拜託貸款做空記憶體 03/26 18:09
推 ntr203 google第幾次了 每次人家炒什麼都要出來砸一下 然 03/26 18:09
→ ntr203 後自己股價也不會漲 03/26 18:09
→ deepdish yoyodiy表示 03/26 18:09
→ gk1329 好誒 03/26 18:09
→ lightson deepseek相同故事而已 03/26 18:09
推 ntr203 上次也弄個什麼tpu 03/26 18:12
推 icelaw 這只是演算法 理論值 實際上去跑應該會打折不少 03/26 18:13
→ icelaw 實際上能少個兩成就很厲害了 03/26 18:14
推 budaixi https://i.imgur.com/cL3iHlx.jpeg 03/26 18:14
推 cerwvk 不可能無限記憶體使用,這技術很實在. 03/26 18:14
→ icelaw 但在目前記憶體吃緊的時候，能實際少個兩成使用量 03/26 18:15
→ icelaw 就貢獻很大了 03/26 18:15
推 TIPPK ddr5 16g 一條上看一萬 03/26 18:15
→ mnmnooo 嘿嘿，要用全都要跟我谷歌買授權 03/26 18:17
→ homygodpppk 效能變六倍不是超好 03/26 18:17
推 good10740 可以繞過嗎 03/26 18:18
推 taylorabc 你...別再....說了..... 03/26 18:18
→ ravelson 昨天晚上就有新聞在這板上，再來一次喔。 03/26 18:18
推 EdenEden 每次看誰好都要去搞 結果自己也不好 03/26 18:19
→ jackz 早就該壓縮了 03/26 18:20
推 SQOneal 好厲害 我要歐印Goog了 03/26 18:21
推 ilovebig99 壓縮再解壓縮不知道有沒有資訊遺失，而影響推論品質 03/26 18:21
→ ilovebig99 ？ 03/26 18:21
噓 WWIII 崩。。。。。 03/26 18:22
推 yjjia 狗哥資料中心需要很多硬體，記憶體貴33，打下去節 03/26 18:22
→ yjjia 省成本 03/26 18:22
推 peace305 快跌多一點 真的 03/26 18:22
推 Swave ZIP壓縮發明後硬碟需求有崩嗎? 沒有嘛! 03/26 18:23
推 dovepacket 壓縮到僅3位元？ 分類成8種就能處理？ 。以為是八 03/26 18:23
→ dovepacket 卦陣哦 03/26 18:23
噓 strlen 壓了還是缺啊 03/26 18:23
→ jackz 效率化本來就是AI發展必定會有的阿 03/26 18:23
→ Swave 反而人類會用壓縮後的技術、節省的空間，做更多事 03/26 18:23
推 bcismylove 七傷拳的意思 大家一起跌 03/26 18:24
噓 speed364 你上ptt雙核心就夠了，為什麼要用10幾核？ 03/26 18:24
推 cool10528 所以google股價要飛天了吧？ 有嗎 03/26 18:24
推 George1118 記憶體娃集體壯膽 03/26 18:25
噓 reall860523 開發新技術然後把記憶體股價帶下去就算了，自己股 03/26 18:25
→ reall860523 價也沒漲，神人公司 03/26 18:25
推 white1861 但Google股價沒漲？ 03/26 18:27
推 secrectlife 日本的壓縮機？ 03/26 18:28
推 Usmall857 上漲靠錢堆下跌靠風吹，完美詮釋XDD 03/26 18:28
推 qwe78971 Ai要取代工程師 我看還久的 連這種基本問題都沒辦 03/26 18:29
→ qwe78971 法 還是要靠人 AI泡沫太明顯 03/26 18:29
→ j112233446 減少6倍就等於可以多塞6倍的context 啊 03/26 18:29
推 misthide 當前AI瓶頸就是記憶體產能 當然要想辦法繞過去啊 03/26 18:29
→ misthide 總不能一直被記憶體大廠掐著脖子吧 03/26 18:30
→ owenxeve 單一記憶體效率變高但用一樣的量不是整體效率更好 03/26 18:31
→ owenxeve ？ 03/26 18:31
→ changkuany 谷狗是先殺低等歐洲的判決吧 03/26 18:32
推 apolloapollo 卡哇 over 03/26 18:36
推 tanby 只有影響推理部分而已 03/26 18:36
推 applejone 記憶體不嫌少的拉 尤其是高速的 03/26 18:37
推 capcombio 便宜的記憶體買的到了嗎？ 03/26 18:39
推 karta018 才6倍，就算600倍記憶體產能還是遠遠不夠 03/26 18:43
推 sinsia 一起來壓低股價吃貨嗎 03/26 18:44
→ inzaghi0221 goog出來砸爛然後默默吃低價 03/26 18:46
噓 jmcgow11 好了啦 google自己都沒有漲了 03/26 18:46
推 littlelaba 不可能 絕對不可能 03/26 18:47
推 littleoldman 我怎麼感覺記憶體會更缺~~ 03/26 18:48
推 frank94 這本來就一直在卷的東西，就像過去的半導體，但需 03/26 18:48
→ frank94 求的增長還是超過卷的速度 03/26 18:48
→ attila125 這個演算法是免費的嗎? 03/26 18:50
推 tnksda 為跌找理由XD 03/26 18:51
推 davislin https://bely.cc/mMopjW 看看實作效果 03/26 18:51
→ nisi0773 google自己都沒漲了 03/26 18:51
推 shhs1000246 需求快速往地端推而已啦 越搞越缺記憶體 03/26 18:51
推 stcr3011 Goog資料中心龐大 一點優化都是量級 03/26 18:51
→ davislin https://i.verb.tw/7DlPgG9e.jpg 03/26 18:52
推 bypetty 三個月後再說沒辦法就笑死 03/26 18:52
→ a9564208 看起來是可以改搶DDR4, DDR5 03/26 18:53
推 schumi7401 一篇論文沒經過實體驗證讓記憶體市值掉了幾百億美 03/26 18:53
推 mercedeces 壓縮會降速耶,如果本來就壓縮,這可能就是一種新演算 03/26 18:56
→ mercedeces 法,但這跟消費電子應該沒關係 03/26 18:56
→ a9564208 之前狗家才說要改玩dram rack，搭配這個能成功那HB 03/26 18:56
→ a9564208 M要下去嗎 03/26 18:56
推 chachabo 狗狗自己都GG了 03/26 18:56
推 sustainer123 這甚至是一年前的論文== 03/26 18:58
→ greedypeople 我也覺得不一定記憶體就會利空 新技術會帶來更多 03/26 19:03
→ greedypeople 應用場景跟商業機會 03/26 19:03
→ Giovann Google這項壓縮技術的論文 2025 4月已經公諸於世， 03/26 19:07
→ Giovann 這次只是在 Google Research blog 簡單的介紹效果。 03/26 19:07
推 stlinman 美劇《矽谷群瞎傳》(Silicon Valley)早就拍過了! 03/26 19:08
推 gotofumihisa 本來就在炒作 缺不缺都嘛說說的 連缺多少要幹嘛都講 03/26 19:08
→ Giovann 而且此類壓縮技術研究一直都不斷的被發表。 03/26 19:08
→ gotofumihisa 不出來 03/26 19:08
→ stlinman 革命性的數據壓縮算法啊! 03/26 19:08
推 bring777 需求量減少5/6，約減少83%，黑科技 03/26 19:08
推 sheep2009 老黃刀法來了 03/26 19:09
噓 luweber88 聽說是個對HBM有用 消費級的主機用不到也跑不起來？ 03/26 19:11
推 davislin oMLX三天前0.2.20還沒有，早上更新的0.2.21就加上 03/26 19:11
→ davislin 了，看上圖kv memory是省75%～80%，是比理論值1/6 03/26 19:11
→ davislin 差一點，但也很驚人了 03/26 19:11
噓 redsaizu 用一個軟體模擬就說好厲害？請用一萬台AI伺服器測 03/26 19:12
→ redsaizu 試後再說吧 03/26 19:12
→ KY1998 你想多了，長上下文的任務只會多不會少 03/26 19:14
→ selvester 你先示範2G跑win11 03/26 19:14
推 xluds24805 記憶體本來就能用壓縮，真要壓縮絕對不只六倍 03/26 19:14
→ KY1998 這是因為人類處理慢慢轉變為AI處理 03/26 19:15
推 perlone 記憶體over 03/26 19:15
推 sheep2009 記憶體真over 有夠耗電 03/26 19:20
→ tshu 從dos到win11，你覺得記憶體用量是？以後到處是ai 03/26 19:24
→ tshu 與機器人，記憶體用量是？ 03/26 19:24
→ tshu 發明zip,rar，h.264 h.265之後，儲存用量有降低嗎 03/26 19:26
噓 NTUT56 蛤，壓縮演算法不就那幾個，還可以玩出新花樣？ 全 03/26 19:27
→ NTUT56 都霍夫曼變一變而已不是 03/26 19:27
推 lpb 記憶體要跌回來了嗎？我有機會換新電腦了！ 03/26 19:31
噓 neowfish 你是不是LAG兩天了 03/26 19:31
推 ship1228 記憶體 is over ，google沒在開玩笑 03/26 19:33
推 je789520 那也只有谷歌一家能用吧 又不會拿出來分享 03/26 19:36
推 ai112039 少做一些狐狸 醬板鴨 記憶體就會輕鬆點 03/26 19:36
推 A80211ab 實在太讚了 軟體終究是解方 03/26 19:43
噓 chinoyan kv cache 能少,模型又不能少,一群不懂原理的過度反 03/26 19:43
→ chinoyan 應 03/26 19:43
推 domodesty 為什麼google 股價也還在跌??? 不懂 03/26 19:44
推 ravelson 遙想之前說美光沒在輝達HBM4供應商的新聞造成大跌 03/26 19:45
→ AbianMa19 真的還假的 03/26 19:45
→ ravelson 只能說，要讓跌就多出新聞，散戶自然就相信了。 03/26 19:45
推 joy2105feh 連自家股價都壓縮了 03/26 19:46
→ AbianMa19 少一狐狸 醬板鴨 島嶼天光應該就會降價 03/26 19:46
→ ravelson 這種招數百試不爽呢。 03/26 19:46
推 bambooxp 先把chrome記憶體壓縮吧 03/26 19:46
→ ppbro Google 真的跟鬼一樣 03/26 19:48
推 drrhythm 這樣對邊緣計算是利多吧，而且壓縮技術會公開 03/26 19:51
→ AAIOU 去年四月發表到現在，記憶體有比較不缺嗎 03/26 19:54
→ dadanyellow 記憶體風光過了，若真因此股價開始大幅回調，也不 03/26 19:57
→ dadanyellow 用太難過，大多數人心裡都明白這是遲早的 03/26 19:57
→ jalai 記憶體變便宜 當然需要用更多 短空長多 03/26 19:59
推 romusutoru 3-5年…… 03/26 20:01
→ MizPerfect 這是給 GOOG 那群阿三costdown用的 03/26 20:02
→ MizPerfect 你能忍受 問個GEMINI一句話 結果五分鐘回答你嗎? 03/26 20:03
推 s8900117 糕點到了 03/26 20:11
→ cct1121 有趣了 03/26 20:19
推 g9122xj 這是經濟學裡的技術進步，不是供給需求的問題，是AI 03/26 20:22
→ g9122xj 更多元應用的技術，只要他不是取代記憶體，我相信這 03/26 20:22
→ g9122xj 只會加速AI應用的爆發，記憶體再跌我就去撿一些 03/26 20:22
→ eemail 人家說減少使用,結果有人講難道不用,零分 03/26 20:23
推 wsa28 Google真是AI巨頭裡面最強的 03/26 20:25
推 ksjr Google又又又又又又又要設計新tpu了嗎 03/26 20:26
推 saiya 載入模型的記憶體還是沒變，這個技術主要是在壓縮上 03/26 20:30
→ saiya 下文的，也就是可以再塞更多上下文進去，跟省記憶體 03/26 20:30
→ saiya 沒關係，需要128g才能載入的模型還是需要128g 03/26 20:30
→ pkmu8426 那記憶體還不快降價 死撐著幹嘛 03/26 20:43
推 WusoAiwen 99美債 03/26 20:45
推 icome 不要怕 股價除以6而已 03/26 20:45
推 fanix21 Ai token目前軟體正在進行優化，減少所需context to 03/26 20:46
→ fanix21 ken的數量 03/26 20:46
推 ravelson 各位可以拿這篇新聞去店家殺價買便宜記憶體 03/26 20:58
推 Merlini 放空轟炸記憶體喔 送分題來了你各位 03/26 20:59
→ realbout 那表示現在記憶體供過於求了 再等等就會降價了 科科 03/26 21:04
推 takuya1 明天旺宏再跌停我就買一張 03/26 21:04
→ wondtty 笑死，那google 空間怎麼不繼續免費呢？ 03/26 21:13
→ jack1042 去年的東西拿到現在當下跌的理由太慢反應了吧 03/26 21:22
推 lovelight 我還是不敢放空 03/26 21:54
推 jasperhai 華碩剛用藉口漲價，谷歌就拆台XD 03/26 22:00
→ OxFFFFFFFF 每一家都有花錢訂閱 gemini用起來是最慢的 03/26 22:07
→ a85201207 有利空 才能做多 03/26 22:13
推 trasia 誰？ 03/26 22:31
推 tikowm 利空出盡 噴 03/26 22:32
推 koushimei 爽啊 看韓商發這種財就不正常 03/26 22:42
噓 ohyouwin 自己也跌20趴了，這麼怎估狗怎不漲 03/26 22:52
→ kusotoripeko 我們的記憶體變成雪山狐狸、星際道士之類的創作 03/26 23:14
→ kusotoripeko 還有咕咕嘎嘎 03/26 23:15
推 netsphere NV也有可壓縮KV cache的技術叫KVTC，而且看起來可 03/26 23:17
→ netsphere 以跟TurboQuant結合使用 03/26 23:17
推 puni52041 那谷歌可以把記憶體賣給別家公司 發大財 03/26 23:17
推 gest7240 很強阿 但你怎麼一直跌 03/26 23:27
推 kopohung 記憶體已死 03/26 23:41
→ avmm9898 笑死 03/26 23:57
推 icantsay 套十年 03/27 00:00
推 isaccrick 壓縮六倍 那就可以塞六倍資料進去算 03/27 00:15
推 harry458031 別騙了 吃貨 03/27 02:49
推 l14567p 估狗快跌下來給我加碼 03/27 03:02
噓 dodoro1 解釋說，高維度向量會消耗大量記憶體，進而在「鍵 04/22 21:57
‹ 回 股票板 列表