[請益] 魔改舊顯卡

作者LimYoHwan (gosu mage)

標題[請益] 魔改舊顯卡

時間Sun Feb 2 22:38:25 2025

個人是不太了解, 因為也不是AI專家現在看到中國在魔改二手顯卡跑一些千億級參數大模型推理和優化他們拿這些二手顯卡跑運行DeepSeek-Vision R1 72B、Llama 3.2 Vision 90B、Qwen2.5 72B和Qwen1.5 130B 就問了chatgpt這些大模型，通常需要高端什麼GPU。回答就這張圖 https://i.imgur.com/cTD1LBh.png 但是中國現在魔改二手顯卡, 竟然也能跑以下這台經過chatgpu比較,相當於H200 141GB × 1, 售價23000人民幣 88g顯存大模型推理機器，深度學習主機，四卡水冷2080ti22g一體機，GPU服務器，88g vRAM服務器，ai繪圖服務器 deepseek-r1 32b能到20token/s 待機46分貝，4張卡溫度31℃，超級靜音，非常適合家用。整機所有配件保修一年，讓您省時省力省心，把主要精力與時間放在模型開發與應用上，不必操心硬件的穩定性。帶觸摸屏幕配置單如下： CPU：epyc7402 顯卡：2080ti魔改22g＋一體水×4 主板：epycd8 內存：ddr4 3200 recc 64g 硬盤：鎧俠rc20 2t 電源：長城2000w金牌電源機箱：瓦爾基里vk02，帶10.1寸觸摸屏幕 https://i.imgur.com/iTtlDiZ.jpeg https://i.imgur.com/toc6Oh7.jpeg https://i.imgur.com/H9w8Adj.jpeg 這樣大量搞起來, 會是對nvda毀滅性的打擊嗎？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.243.172.116 (臺灣) ※ 文章網址: https://webptt.cc/bbs/Stock/M.1738507108.A.06B.html

推文 (138)

推 breathair 99nvdl 02/02 22:40

推 b455104 deepseek對輝達本來就是大利空 02/02 22:41

推 realmd 0 土砲的東西不可能大規模量產就玩票性質 02/02 22:41

推 stocktonty 輝達山寨系列終於生出來了!?要不要改叫CVIDIA 02/02 22:41

推 sova0809 這種個體跟diy可以玩玩商家需求就算了吧 02/02 22:43

推 jfw616 iphone 6也能用…為何需要iphone 16 02/02 22:45

→ jfw616 我都還在用win xp…誰電腦升級win 11了 02/02 22:45

推 sdbb Win2000再戰十年 02/02 22:46

推 ULTIMA1002 DS就是不用依賴cuda這個架構,只要是GPU都可 02/02 22:48

推 tangolosss 沒有openAI的問答集 deepshit也做不出什麼鳥屁 02/02 22:50

推 aspirev3 我覺得甚麼2TB內存部屬671B完整版模型有用一些 02/02 22:52

推 karta513165 還以為走錯板 02/02 22:54

推 c41231717 這種要求的是穩定性你不穩定要怎麼獲利 02/02 22:54

→ kevinmeng2 中國很多土炮的，但穩定度跟安全性都不佳， 02/02 22:55

→ kevinmeng2 也不能量產，不能當作常態，只能當作奇蹟 02/02 22:55

推 JasonKOU 就我理解 ds還是採用nvidia的ptx 02/02 22:55

推 sharkman1793 為什麼是用2080ti? 02/02 22:55

→ JasonKOU 所以應該不是什麼gpu都可以 02/02 22:55

→ kevinmeng2 有興趣可以上yt 找土炮4090電腦顯卡上筆電顯卡一樣 02/02 22:56

→ kevinmeng2 可以用，效果也超好，但重量八公斤，還能叫筆電嗎 02/02 22:56

推 guanting886 魔改的要做大家做得到真的這樣就夠不會有人需要特 02/02 22:59

→ guanting886 別花錢買伺服器/工作站 02/02 22:59

推 tsubasawolfy 你以為伺服器是在賣心酸的嗎 02/02 23:01

推 paulgao 當然都可以跑，差在算力啊，蓋房子一個人也能蓋，但 02/02 23:01

→ paulgao 專業的工人+數量快很多吧 02/02 23:01

推 stlinman NVIDIA Project DIGITS 才3000美金，何必買土炮？ 02/02 23:03

→ Rattlesnake ebay上就有h100深圳出貨的了改個鳥不會直接買 02/02 23:05

→ Rattlesnake 美國管制根本就是笑話 02/02 23:06

→ KiwiSoda01 訓練跟運行是兩回事 02/02 23:07

推 OhtaniHR 這種就算效能可行沒辦法大量生產就不可能有啥決定 02/02 23:07

→ OhtaniHR 性的影響 02/02 23:07

推 jiansu 這個真的不如上了 nv project digits 或是amd str 02/02 23:08

→ jiansu ix halo128gb 32b模型實在不值得這樣搞至少70b 要 02/02 23:08

→ jiansu 搞直接上671b的模型 02/02 23:08

推 guanting886 做等project digits 我記得五月 3000美金真的很甜 02/02 23:09

→ guanting886 只怕又被黃牛掃光了 02/02 23:09

→ KiwiSoda01 拿蓋房子來說蓋房子裝潢不能放在同一個水準更何 02/02 23:10

→ KiwiSoda01 況你這個例子連裝潢都沒有只是搬進去住而已 02/02 23:10

推 wahaha99 因為2080ti才有NVLINK 後面還有一張3090 02/02 23:10

→ wahaha99 之後的都拿掉了 02/02 23:10

推 stocktonty 這就是超頻者天堂的樂趣啊真懷念 02/02 23:11

噓 f12sd2e2aa 這是認真文？哪個大公司會這樣幹 02/02 23:11

→ destroyss 魔改是取下4090核心裝在3090的PCB板上加上48G ram 02/02 23:12

→ destroyss 跑推理 2080Ti太舊了 02/02 23:12

→ abc21086999 ? 02/02 23:12

→ abc21086999 這篇文章是認真的嗎 02/02 23:12

→ yinaser 目前已經有人用A6000跑離線671b模型做股票分析了 02/02 23:14

推 bpq302302 改到爆再快也只是86 02/02 23:14

→ yinaser 只能說這成本低得離譜 02/02 23:16

→ jamesattw 可以跑跟跑的快不一樣 02/02 23:19

噓 LiamTiger 這又沒辦法大規模企業化== 02/02 23:19

→ vodkalime607 以前很多台灣玩家很多人醬玩 02/02 23:19

推 duriamon 老黃刀法就是垃圾 02/02 23:19

推 stlinman Jetson Orin Nano Super應該也是跑得動Deepseek蒸餾 02/02 23:19

→ LiamTiger 你用一百個奧運腳踏車選手一起出力騎一台車，也拼 02/02 23:20

→ LiamTiger 不過裝法拉利引擎的汽車 02/02 23:20

推 alex5566 不用想太多軍火都能從黑市走私晶片怎麼會做不到 02/02 23:20

→ alex5566 一定有辦法拿到高階的來用 02/02 23:20

推 zip00000 能跑但是智商可能不超過50 你懂我意思嗎？ 02/02 23:21

推 epephanylo ....我想問問幾張5090能順跑DS?? 02/02 23:21

→ zip00000 重點怎麼會放在能不能跑？應該是多聰明吧 02/02 23:22

→ duriamon 現在開源AI離線inference的瓶頸不是晶片性能，而是 02/02 23:22

→ neo5277 也不是不行啦，便宜有便宜的玩法 02/02 23:22

→ duriamon 老黃VRAM故意給你砍讓你無法跑，呵呵！ 02/02 23:22

推 SRNOB 4090 全改48g 02/02 23:22

→ KY1998 你有辦法土炮100台弄成集群穩定跑再說 02/02 23:23

→ neo5277 中國張哥那種等級的很多模改不是問題 02/02 23:24

→ duriamon 重點覺對是能不能跑，你VRAM都不夠模型裝不下，還跑 02/02 23:24

→ duriamon 什麼鬼？呵呵！ 02/02 23:24

推 SRNOB 能跑都有影片了 02/02 23:25

→ duriamon 會搞魔改就是驅動大語言模型最低的需求是VRAM 02/02 23:25

推 Chilloutt 隔壁棚有28 張 ram 用蘇媽apu 衝的 02/02 23:28

推 bj45566 這些只是技術宅(如果不直接用"死nerd"這個詞)生活 02/02 23:32

→ bj45566 中的小確幸而已 02/02 23:32

推 ImHoluCan iPhone 8 也可以上網看影片拍照片，幹嘛用iPhone 02/02 23:34

→ ImHoluCan 16，手機怎麼會有傻子ㄧ直買新的 02/02 23:34

推 lifeterry 跟疫情時口罩疫苗，over booking 87分像 02/02 23:34

推 onekoni 這繞過的幅度已經是繞路超車了 02/02 23:36

推 mamorui 用這個不能賣錢想想NVLink 02/02 23:37

推 jiansu 對岸個人或是小單位應該是用4090魔改48g 品質應該 02/02 23:42

→ jiansu 還可以應該是有一個黑色產業鏈在搞 inference門檻 02/02 23:42

→ jiansu 沒那摸高主要是那個記憶體所以有Mac 這種有128gb 02/02 23:42

→ jiansu 拿來搞 project digits就nv 要給的答案 strix hal 02/02 23:42

→ jiansu o128gb也有機會更便宜這些都是量產消費產品級改 02/02 23:42

→ jiansu 天amd intel直接gpu上大顯存都不意外… 02/02 23:42

→ MacBookAir12 魔改的有穩定性問題這只能個人玩玩而已 02/02 23:48

噓 NEX4036 卷到爆炸厲害了我的國 02/02 23:50

推 F93935 能跑啊，穩定性呢？再來你說的這些辣雞不會漲價嗎 02/02 23:50

推 neo5277 我一張4070ti12g而已跑14B體驗都很好了加到128飛天 02/02 23:50

推 kanehhh 所以PC利多嗎？ 02/02 23:53

推 neo5277 這就是我之前說的只要花得起錢的中小企業都可以自己 02/02 23:56

→ neo5277 來在多弄一點連小微調都可以 02/02 23:56

→ neo5277 頂多就是老黃的刀會比較不利 02/02 23:57

→ neo5277 這就等於以前的黑蘋果 02/02 23:58

→ redbeanbread 地動山搖 02/02 23:58

推 junshinw 魔改沒專利嗎？量大鐵定被告啊！你魔改Iphone量大 02/03 00:03

→ junshinw 不會被告嗎？ 02/03 00:03

→ duriamon 老黃自己都想賣大陸了告什麼？是皮到被川普拉正，你 02/03 00:07

→ duriamon 以為老黃討厭大陸喔？川普登基大典不去跑去大陸唱跳 02/03 00:07

→ duriamon 過新年的咖耶！笑死！ 02/03 00:07

→ takase 這種魔改犧牲的是零件的壽命,你舊顯卡存貨也不可能 02/03 00:09

→ takase 那麼多 02/03 00:09

推 huabandd 中國魔改真的是蠻厲害 02/03 00:15

推 RaiGend0519 我還沒看過有商家做iPhone擴容被告的 02/03 00:19

→ RaiGend0519 硬體買下來改裝還能被告　太有趣惹 02/03 00:21

→ bndan 土砲的東西不用多擺個100組去機房試營運個3個月就 02/03 00:35

→ bndan 好能玩的起來的就算你有搞頭..連nv制式的都需要透 02/03 00:35

→ bndan 過大量汰換才能營運你這種土砲的玩具放在要營運 02/03 00:35

→ bndan 的機房內只會是管理災難而已想啥呢 == 02/03 00:35

推 Argos 土砲以前礦潮時早就玩過了但一改下去沒兩下就燒壞 02/03 00:48

推 jiansu 看了amd 一下7900xtx 32b q4km 31tk/s新卡售價3w5 02/03 01:13

→ jiansu 如果你只要deepseek比你這快應該不用買洋垃圾 02/03 01:13

→ yunf 兩種作業系統都要用 02/03 01:55

→ yunf 不試怎麼知道問題在哪？ 02/03 01:55

→ wed1979 家庭工作站，佈建一台幫小孩做作業，報告寫得頭頭是 02/03 03:59

→ wed1979 道 02/03 03:59

噓 mdkn35 洋垃圾真的香 02/03 07:12

→ joeboy 不要小看左岸魔改能力 02/03 07:15

→ joeboy 看看張哥，老斯基就知道，業界一堆有能力自己動手 02/03 07:15

→ askaa 這太爛了拉我用紅白肌膜改就能跑了你太花錢了 02/03 07:30

推 horcy vram能跑不代表回應速度夠快呀 02/03 07:54

推 Homeparty vRAM的問題 02/03 08:14

推 Homeparty Nvidia 的tesla系列也是Vram加大而已 02/03 08:18

噓 maplefff 20 token/s 回家睡覺好嗎 02/03 08:19

→ maplefff 有空搞這些, 不如上Azure租一下就好 02/03 08:19

推 ILike58 真以為老黃的刀法評價假的…… 02/03 08:20

推 Homeparty 小企業，6人內20token/s這樣是夠了 02/03 08:21

推 Homeparty 你也會發現很多都是2系列去魔改的，因為這些之前是 02/03 08:31

→ Homeparty 挖礦卡二次利用，如果會玩水冷等，用Nvidia tesla 02/03 08:31

→ Homeparty 系列也沒有比較貴 02/03 08:31

→ ActionII 2系列去魔改的原因是因為還支援多hours串連吧… 02/03 08:39

→ ActionII *多gpu 02/03 08:39

→ ActionII 而且這個魔改本來就有了…華強北只有你想不到的 02/03 08:41

推 Poaceae 20token/s .. 02/03 08:51

推 shiki1988 能跑不代表整體沒問題耶沒做過完整測試鏈沒意義 02/03 10:19

推 jboys75 好狂… 02/03 11:02

推 ryuhuang 拿舊顯卡改大VRAM來跑AI很划算 02/04 16:30

→ ninggo Project digit的魔改產品可能才真的威猛 02/05 15:59