關於AMD呢，在老黃GPU又貴產量又少的狀態下
目前已經不少人找方法剔除不用GPU的方式去建立Local LLaMA了
在R1橫空出世後的一個多月內，大量公司/個人小型workstation已經開發出一些東西
之後系統商和模型/權重持續最佳化狀態下，應該能有更好的產出
簡單來說，這套系統最重要的就是RAM頻寬和大小
所以使用EPYC MZ73板子，可以有24個DDR5通道
全部插滿32GB ram，啟動時有足夠的SSD空間把R1丟到RAM裡面就好
這樣的設定可以在Q8狀態下去跑完整模型，而不是蒸餾過的
當然，這樣的配置不會有700GB VRAM的機器還快
但你有700GB VRAM的設備大概要12萬USD左右
以目前這套大概不到6000 USD就可以組出來的設備，產出約在6~8tok/s左右
但要是AMD和系統廠能夠合作推出更專業的產品
R1目前的開源以及社群的熱絡，可以讓老黃的GPU變成CP值超低的奢侈品
而目前EPYC這樣的配置，已經足夠多數中小型企業/軟體公司使用
甚至比你去租賃算力還便宜
AMD就算GPU在搞笑，但AI的部分絕對不會缺席
只要老黃故意把VRAM卡在那邊拿翹
拿時間換錢的企業和個人使用者不需要那麼快的生成
AMD和系統廠包裝一下大有搞頭好嗎
BTW，因為主要瓶頸是RAM頻寬和大小，所以CPU本身也不用太高階的，夠算就好了
就算用9115或是9015也不會損失太多
能耗部分也很省，上面那組系統耗電量大概就是在400W左右
想想你跟老黃買到700GB的Vram去佈署，要花多少電XDDD
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 136.226.240.114 (臺灣)
※ 文章網址: https://webptt.cc/bbs/Stock/M.1738808680.A.A73.html
M4 pro也可以跑喔，效率非常好，只是水果店RAM都焊死的超貴
所以只能跑蒸餾過得比較好
※ 編輯: zzahoward (136.226.240.114 臺灣), 02/06/2025 10:30:37
推文 (41)
推
uke823
99AMD
02/06 10:25
噓
BMTH5566
apple：
02/06 10:26
推
jeangodard
LLM後 AI的下一步是什麼
02/06 10:32
→
LDPC
5090就夠了 還有之後的老黃Project DIGITS
02/06 10:34
推
stlinman
訓練和推理本來存在差異。目前CP值應該租賃算力<本
02/06 10:38
→
goodjop
這比較偏終端吧 別老是拿終端比雲端
02/06 10:39
→
stlinman
地部屬。 除非有資訊安全、隱私的需求不然長期還是
02/06 10:39
→
stlinman
偏雲端。
02/06 10:40
→
stlinman
租賃算力 > 本地部屬
02/06 10:41
→
jayemshow
我也是這樣想 買入AMD套到現在 供參
02/06 10:50
推
Roger5566
推 所以AMD可以進場囉
02/06 10:54
→
lc85301
99AMD
02/06 10:55
→
bnn
99AMD 沒啦 這表示板子頻寬問題 要炒CPO嗎
02/06 10:55
推
CMPunk
我等AMD二位數再進場 沒有就算了
02/06 10:58
→
JoeyChen
教主會再出山嗎
02/06 11:06
噓
PureAnSimple
要做多了嗎？只分析沒錢賺
02/06 11:37
推
koebel0521
99 AMD
02/06 11:43
→
v21638245
想太多，amd寄生售價還少嗎
02/06 11:47
推
s987692
股版一堆人還在看gaap eps…真的傻眼
02/06 11:54
→
wr
簡單來說~ 99AMD
02/06 11:56
推
kuan870704
想太多，AMD只要發現這樣有利可圖馬上就會漲價到cp
02/06 11:59
→
kuan870704
值跟老黃一樣低ㄏㄏ
02/06 11:59
→
kuan870704
黑暗騎士的小丑就說過了如果你很擅長某件事千萬別免
02/06 12:00
→
kuan870704
費去做
02/06 12:00
推
mcgrady12336
你這篇一年前彥州包圍網講過了，後來他也放棄直接
02/06 12:04
→
mcgrady12336
投奔老黃，八成又什麼技術壟斷無法短期克服
02/06 12:04
→
ader888
絕對不會缺席，只是不公布營收了
02/06 12:09
推
deann
水果店的RAM可以變成VRAM來用
02/06 12:10
→
IBIZA
這篇講的跟AMD沒有直接關係
02/06 12:36
→
IBIZA
這篇是說你可以用支援多通道記憶體的CPU架構, 把完
02/06 12:47
→
IBIZA
整版的R3 load到記憶體跑, 只要記憶體有三百多G就可
02/06 12:51
→
IBIZA
以
02/06 12:51
推
moike22
AMD:我的股價不是這麼說的QQ
02/06 12:53
噓
LMgogo
股價？
02/06 13:30
噓
lise1017
大量公司早就已經不用晶片來訓練模型了 最新發現原
02/06 13:37
→
lise1017
來用泡麵也可以訓練大模型 有人正在嘗試看看用麥香
02/06 13:37
→
lise1017
能不能 你還在用晶片 呵呵
02/06 13:37
→
lise1017
用300x300的阿Q桶麵訓練出來的大模型效率居然等同
02/06 13:39
→
lise1017
GPT 據說泡菜口味效能更甚
02/06 13:39
推
Lowpapa
晶片已死
02/06 15:56
推
youtrue
結果股價一塌糊塗
02/06 16:24