你劃錯重點,
先不論這篇論文的可行性與實用性,
你真的劃錯重點了
算力重要嗎?
重要但是不是影響販售/採購晶片的主因,
這個年代是用軟體思考的年代,
有兩個軟體方面的主因是AI晶片的關鍵:
1. LLM
2. API/framework: CUDA, OpenCL, tensorflow, pytorch
很多人嗆我說廢話,
但是很多人卻是連廢話都不懂,
LLM 全名叫做 "Large" language model,
都已經叫做Large 了,
還放在最前面以表示重要性,
所以能夠處理"Large" 模型的能力 遠比算力重要的多,
這篇文章有圖形解釋cpu vs gpu vs tpu的差別,
https://www.linkedin.com/pulse/
cpu-vs-gpu-tpu-unveiling-powerhouse-trio-computing-abhineet-raj/
所以拿這三者來比較算力是很蠢的事情,
這三者的算力彼此之間個差了十倍到百倍的差距,
比方說我有一大串數字/資料要做運算,
cpu 必須每個數字/資料做運算之後相加減,
gpu 把數字/資料放進兩個矩陣一次就算完,
tpu 直接把算法設計成硬體邏輯,
數字/資料放進tpu可以直接得到結果,
所以你看出問題了嗎?
當你的資料與模型太大 會塞不進去矩陣 (v-ram),
同樣的道理,
資料與模型太大 會塞不進去tpu裡頭 (v-ram),
現代化的AI 瓶頸已經從算力提升到模型太大,
而這就是NVDA 厲害的地方,
一顆GPU v-ram 不夠塞進資料與模型,
沒關係, NVDA 把GPU 串連起來,
數百萬顆的GPU 串連 v-ram提升數百萬倍,
總可以塞進資料與模型來運算了吧,
請參考"電池串連"原理 就可以了解我在說什麼
TPU 原本把算法設計成硬體邏輯是個優點,
但是在串連運算上面卻成了缺點,
矩陣運算可以串連串起來運算,
邏輯電路要串連 v-ram 運算反而變得非常複雜與難實現,
所以TPU 被綁在自身v-ram 的大小限制上面,
太大的模型與資料無法放進v-ram 就無法運算,
不過還是有解決方法,
這邊就不多說了
所以算力重要嗎?
在LLM 面前 真的不是最主要的考量
2. CUDA 版上吵翻天了,
不需要多說了,
你算力就算能比NVDA快上萬倍,
你也要能夠繞過CUDA 再說,
更何況算力有沒有比較快都很難說
※ 引述《oopFoo (3d)》之銘言：
: 千禧年的網路泡沫，也是先炒作硬體商，Cisco, Sun...，Sun還有"dot in dot-com"的廣告。
: 網路確實是改變世界，但真正大賺的是軟體公司，而且是完全新鮮的軟體公司。
: 這次AI浪潮，應該也是類似。
: N家這次炒作這麼高，是因為真的，Compute是供不應求。每個大公司都怕買不夠，跟不上。
: 但最近一些AI的發展，也許會發現，這些Compute是不需要的。
: Mamba, RetNet, RWKV是從"Attention"的這點來改善。"Attention"是Quadratic Complexity，這是硬體需求的關鍵。現在在找方法從Quadratic改成Linear。
: Mamba我很看好，它的作者之一也是"Flash Attention"的作者。
: 但昨天一篇新的論文，可能是真的翻天覆地的開始。
: https://arxiv.org/abs/2402.17764
: "The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits"
: https://news.ycombinator.com/item?id=39535800
: hn的討論。
: 現在討論的共識是，可行，理論基礎很扎實。各路人馬開始指出，從2006年開始的這方面研究，已經找出好多篇證實這方向是可行的。
: 現在的LLM是用fp16(16bits)，這方法可1.58bits，(討論說可以縮到0.68bits)
: 然後本來是fp dot product的只要int add。
: 輕鬆10x的效能，新ASIC針對Ternary weight發展可以輕鬆100x的效能改善？
: 如果這篇證實是可行的，AI起跑點重新設置，所有公司的價值都要重新計算。
: 這篇的作者群很有資歷，但很有趣的是，主要是來自北京/清華大學。美國猛力壓制中國的運力運算，造就不太需要Compute的方法的發現，戳破美國AI泡沫，這會是非常的諷刺。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.103.225.6 (美國)
※ 文章網址: https://webptt.cc/bbs/Stock/M.1709177914.A.EF9.html
GPU => NVDA
vram => hbm => MU
switch => AVGO
包牌 => QQQ
※ 編輯: waitrop (76.103.225.6 美國), 02/29/2024 11:58:09
有比cuda更屌的東西,
但是掌握在七巨頭手上
※ 編輯: waitrop (76.103.225.6 美國), 02/29/2024 12:03:04
CUDA 是最底層的軟硬體介面,
提供軟體(寫程式)得到硬體加速的效果,
但是Google 的Tensorflow,
以及Meta/Facebook 的Pytorch,
是建構在CUDA 之上的python API 套件,
現在已經很少人直接寫CUDA,
大部分的人都用pytorch or tensorflow,
我個人的經驗是pytorch 比較容易,
tensorflow 比較底層比較複雜,
但是相對的tensorflow 提供更強大與更自由的設計功能,
不論是Google or FB,
tensorflow or pytorch,
在公司內部project 都已經可以繞過cuda 直接對硬體溝通加速
※ 編輯: waitrop (76.103.225.6 美國), 02/29/2024 12:22:48
pytorch or tensorflow 搭配自家的driver+kernel+firmware+tpu/asic,
就可以繞過cuda,
但是自家的那套東西不對外販售
※ 編輯: waitrop (76.103.225.6 美國), 02/29/2024 12:35:18
是的,
新創 training 玩不起,
除了openai夠錢也夠名聲能夠玩training
另外,
inference 尤其是 edge AI 會是下一個戰場,
只是我不知道居然來的這麼快,
我原本估計要兩三年後才會到來
是的,
但是目前只有七巨頭五仙女有能力繞過cuda
※ 編輯: waitrop (76.103.225.6 美國), 02/29/2024 12:39:17
我待過四五間中美科技巨頭,
這些AI伺服器我在十年前就在研發,
中美檯面上的AI伺服器很多我都有參與研發過,
當年跟這幾家公司的高層開會的時候,
就有討論過這個問題,
答案是NVDA 賣太貴了,
自研不只是為了2nd solution,
也是因為自研再怎麼花錢都比買NVDA 便宜,
然後你又搶不到足夠的NVDA GPU,
所以能夠自研能夠用asic tpu 等方式的就盡量用,
不能用的應用再買NVDA GPU,
對於search, youtube, 天貓掏寶, amazon search, facebook image/vedio等等,
需求量夠大,
自研絕對省很多
對不起!
因為我常常會不小心講話得罪人,
所以看到有人對我的發言很有意見感覺又得罪人了,
就乾脆刪掉免得惹麻煩,
我下次不會再刪文了,
抱歉!
※ 編輯: waitrop (76.103.225.6 美國), 02/29/2024 14:41:24
因為前面推文有提到用CPU就可以,
我拿CPU來比較只是想說根本不可能用CPU算AI,
→ oopFoo : GPU做inference。普通CPU就可用了，這是關鍵。 02/29 09:44
我不知道為何AMD 要推ROCm,
OpenCL 是 open source,
已經累積很多的成果以及CUDA 轉譯,
不懂為何不繼續OpenCL
※ 編輯: waitrop (76.103.225.6 美國), 02/29/2024 15:36:24
※ 編輯: waitrop (76.103.225.6 美國), 02/29/2024 15:39:56
教主說的NVDA 包圍網裡頭最積極的應該是Meta 組博客,
也可以理解,
他畢竟是臉書創辦人,
是真的對臉書有感情的,
第二積極的是微軟與AMD蘇大媽,
至於其他的七巨頭專業經理人CEO 都自身難保或是志不在幹大事,
尤其某公司的CEO,
敵人就在本能寺 (公司總部), 不在NVDA
※ 編輯: waitrop (76.103.225.6 美國), 02/29/2024 16:01:42
我個人看法,
vram 放越大成本越高,
蘇媽同等級vram 都比N大我也有發現,
所以蘇媽的毛利比老黃低呀!
以老黃角度,
vram 少一點可以省一些成本, 毛利拉高,
而且可以變相讓買家多買一些gpu,
反正目前市場是有在賣AI 晶片的就他一家,
其他的都不成威脅
而且沒有記憶體安全係數這種東西,
因為模型大到一顆GPU一定裝不下
※ 編輯: waitrop (76.103.225.6 美國), 02/29/2024 16:43:53
"單卡vram夠大 單卡可以跑的模型就大", 沒錯,
但是在LLM面前,
vram 再怎麼大單卡都塞不下, 數量級完全不同
※ 編輯: waitrop (76.103.225.6 美國), 02/29/2024 16:50:03
推文 (257)
推
pmes9866
好的 歐印TQQQ
02/29 11:40
推
leochen124
謝謝分享
02/29 11:41
推
poisonB
何必跟一知半解的認真
02/29 11:44
推
Aska0520
感謝分享 ALL IN NVDA
02/29 11:44
推
kid1a2b3c4d
講中文啦QQ
02/29 11:44
→
aimlikenoob
問就是買
02/29 11:45
→
tctv2002
嗯嗯 跟我想的一樣
02/29 11:48
→
fatb
閱
02/29 11:49
推
rkilo
謝分享
02/29 11:51
推
sam90205
何必認真看到那篇論文的產地就可以end了.
02/29 11:52
推
kducky
00757會漲嗎0.0
02/29 11:55
推
roseritter
推. 硬體受限情況下 只能從其他地方突破惹
02/29 11:55
推
ab4daa
歐印TQQQ
02/29 11:55
推
a069275235
樓下幫我看一下這一大篇有沒有股點
02/29 11:55
→
roseritter
中國的HBM不知道何時商業量產
02/29 11:55
推
Altair
豪!!! 所以要歐印誰?
02/29 11:56
→
kausan
所以沒有比cuda更屌的東西你還是要舔nv
02/29 11:57
→
a069275235
感恩明牌 五星推！
02/29 11:58
推
abc21086999
我記得原Po是在G工作的FTE
02/29 11:59
推
j65p4m3
好窩歐印
02/29 11:59
推
esproject
幹嘛跟對岸小粉紅認真www 整天再吹利害了窩的鍋
02/29 12:04
推
leoloveivy
但如果要tpu 一定是port一個可以的model v-ram加上
02/29 12:06
→
leoloveivy
去面積大 價錢還是比H100划算吧嗎
02/29 12:06
推
lonzoball02
繞過去就好了
02/29 12:06
推
iamjojo
推解釋 這我看得懂
02/29 12:11
推
minikai
問就是TQQQ
02/29 12:12
推
WTF55665566
那文就是裝逼拐個彎吹支那或成最大贏家而已
02/29 12:14
→
WTF55665566
欠打臉
02/29 12:14
推
TheObServer
請問什麼東西比庫打還猛？
02/29 12:15
→
JKjohnwick
中國的科技業不是只能代工跟抄襲嗎
02/29 12:16
→
AndyMAX
switch ==> Nintendo
02/29 12:17
→
TheObServer
不會是量子電腦吧
02/29 12:17
推
subi
現在好像開始談LPU了
02/29 12:18
推
motan
好，結論就是輝達強暴了
02/29 12:21
推
ymlin0331
包牌是TQQQ啦
02/29 12:21
推
fmp1234
關鍵就是要 大
02/29 12:27
推
truelove356
NV不是要搶AVGO的地盤
02/29 12:29
推
csluling
本來就是，不然一直在衝v-ram幹嘛，一堆北七一直在
02/29 12:30
→
csluling
講算力瓶頸
02/29 12:30
推
zoze
AMD能分一杯羹嗎
02/29 12:30
→
csluling
出新卡建新機就是一直在關注v-ram多大才知道能跑多
02/29 12:31
→
csluling
大模型
02/29 12:31
推
ppuuppu
讚讚
02/29 12:32
→
csluling
不過pytorch不算是繞過CUDA吧，頂多說可以對硬體有
02/29 12:33
→
csluling
指哪算哪效果吧？
02/29 12:33
推
Ashand
SOXX
02/29 12:35
推
leochen124
所以現在新創都在做inference的加速嗎
02/29 12:36
推
LieTo
繞過CUDA的意思是也可以不用NV的晶片嗎?
02/29 12:36
→
LimYoHwan
https://i.imgur.com/GxJuHEi.jpeg
02/29 12:37
推
easyman
這篇論文其實是-1，0，1 , 其實應該很適合整合在
02/29 12:37
→
easyman
flash TLC上面。 或者 三檔電壓的RAM上面。 如果
02/29 12:37
→
easyman
放在FPGA上，就是2bit 加法器。
02/29 12:37
→
LimYoHwan
快一倍走了 韭菜套滿手 割肉再進去
02/29 12:37
推
leochen124
現在應該是還有那些國家的LLM的sever還沒被滿足,才
02/29 12:38
→
leochen124
能確定有沒有overbooking
02/29 12:38
推
cowaksor
好的信貸加質押tqqq
02/29 12:40
→
Lipraxde
Edge inference 到處都在推，簡直殺紅眼了XD
02/29 12:46
推
smallcheng
AMD除了價格優勢，在技術上有什麼優勢跟著NV喝湯嗎
02/29 12:46
推
Fww
推你認真，下面那篇真的不知在幹嘛
02/29 12:47
→
TsmcEE
包牌不應該是tqqq嗎
02/29 12:50
推
energyy1104
個人認為真正的護城河是NVLink跟NVSwitch
02/29 12:52
推
pponywong
Edge side只可能做inference阿
02/29 12:52
→
energyy1104
CUDA的重要性恐怕還要排在這兩個後面
02/29 12:52
→
pponywong
另外training的成本也很大 不可能繞過去
02/29 12:53
→
pponywong
目前openai 是用富爸爸的azure data center
02/29 12:53
→
s90002442
結論： 單押g
02/29 12:53
→
pponywong
你要搞模型 你還是要花錢買NPU(TPU)或是GPU
02/29 12:54
推
william85
推
02/29 12:55
推
Gipmydanger
推
02/29 12:55
推
pponywong
除了谷歌的TPU 目前只有微軟說要自己做 下單給牙膏
02/29 12:56
→
pponywong
其他都還是用NV CUDA 像是META跟TSLA 就買幾十萬片
02/29 12:57
推
sdbb
拜託別刪，謝謝
02/29 12:57
→
LDPC
狗家忘了下車 嗚嗚嗚嗚 99狗家 QQ
02/29 12:58
→
pponywong
另外就原Po講的 AI model會越來越大 你圖形辨識跟
02/29 13:02
→
pponywong
GPT到現在Sora的模型 不是同一個量級的增長
02/29 13:03
→
pponywong
你要進入到下一個階段的AI 你就只能繼續擴大算力
02/29 13:03
→
pponywong
可能Sora需要30萬張H100 下一個AI就需要100萬張
02/29 13:04
→
pponywong
然後這些training是沒辦法繞過的 你要進場玩 你就只
02/29 13:04
→
pponywong
能花錢
02/29 13:05
→
clamperni
基本麵吃起來
02/29 13:05
→
yiefaung
TPU也有TPU pod好嗎…
02/29 13:06
推
leochen124
請問inference就不用把整個大模型放到vram嗎
02/29 13:07
→
LDPC
樓上 用切的QQ 參照Model parallelism
02/29 13:14
→
LDPC
所以gpu之間通訊速度很重要 這是老黃的大招
02/29 13:14
→
LDPC
4090有等效A100算力 但4090多卡之間通訊太慢
02/29 13:15
推
ohmypig
請問原po 對Alphawave IP 這家的看法？ 傳輸速度會
02/29 13:15
→
ohmypig
是下一個gating 嗎？
02/29 13:15
推
leochen124
謝謝L大解說
02/29 13:16
→
LDPC
https://zhuanlan.zhihu.com/p/107101727
02/29 13:17
推
Samurai
我廢物只想知道要歐印哪隻
02/29 13:21
推
ProTrader
原po說的內容外行人可能真的搞不董"大型"
02/29 13:22
推
tchen4
看不懂 先給推
02/29 13:22
推
csluling
原po跟L大都好心人
02/29 13:23
→
ProTrader
用生活中的東西來說 台鐵高鐵都是大型
02/29 13:23
→
ProTrader
但是台鐵高鐵的速度差異很明顯
02/29 13:23
推
zhi5566
Waitrop發一篇文 我就買一些TQQQ
02/29 13:24
→
ProTrader
如果你家有超跑 跑的比高鐵快 那還是迷你型沒用
02/29 13:24
推
clisan
謝謝說明
02/29 13:24
推
usb4
TPU好像可以串連了? google上次說training用自家TPU
02/29 13:25
推
xm3u4vmp6
超低延遲 網卡直連暫存器 這樣才能擴展
02/29 13:25
→
ProTrader
我記得在10多年前流行大數據的時候開始有"大型"
02/29 13:26
→
ProTrader
現在的大型需求真正變的火熱
02/29 13:27
推
dongdong0405
NVDA真的是安心買，未來它的saas 會越賺越多
02/29 13:28
推
ctes940008
歐印
02/29 13:29
→
Alwen
看到sora橫空出世，我只覺得老黃infiniband贏麻惹
02/29 13:31
推
pponywong
GPU之間的溝通速度 就是AVGO(博通)的強項了
02/29 13:31
→
Alwen
以後都是要求串連數十萬顆起跳
02/29 13:32
推
stlinman
v-ram就是關鍵啦! 串連效益/成本就NV最高，其他怎麼
02/29 13:32
→
stlinman
怎麼打?
02/29 13:32
→
pponywong
所以AI5才有AVGO 他是專門做傳輸ASIC的
02/29 13:32
→
stlinman
老黃說買越多省越多不是在騙人的!
02/29 13:32
推
ProTrader
原po說的兩點也是教主說的老黃包圍網的成敗因素
02/29 13:33
→
ProTrader
只要這兩點不突破包圍網就徒勞無功老黃繼續統霸天下
02/29 13:33
→
horb
感謝分享
02/29 13:37
→
LDPC
所以蘇媽才要跟AVGO聯手啊蘇媽就是需要個"amd link"
02/29 13:39
推
pponywong
真的怕就買台積就好 我是覺得NVDA的護城河非常深
02/29 13:39
→
LDPC
蘇媽+何國源資產+VictorPeng+陳福陽 打老黃
02/29 13:40
→
LDPC
旁邊吃瓜看戲 QQ順便可以看彼此策略攻防戰
02/29 13:41
推
pponywong
AVGO的Tomahawk5 應該是市面上唯一800G 的switch ic
02/29 13:41
→
Alwen
黃董手都伸到saas惹，進度真的很快
02/29 13:44
推
ejnfu
NVDA AMD QQQ全買就好
02/29 13:44
推
stlinman
老黃把供應鏈都綁樁顧好了! 其他家想追上先不考慮
02/29 13:47
→
stlinman
技術成本能不能追上，光是產能卡不卡的到都是問題!
02/29 13:48
推
leoying
推一個 解釋的很清楚
02/29 13:49
推
leoying
不太懂為什麼AMD要找avgo合作，它自己不是有Xilinx.
02/29 13:53
推
s987692
PyTorch+rocm就饒過cuda了
02/29 13:55
→
donkilu
你要每個廠商各自做自己的TPU driver compiler SDK
02/29 13:55
→
donkilu
還只能自家內部用用 這樣搞到最後有比較省嘛...
02/29 13:56
→
joygo
現在問題就是真的能讓ai 突破的是學者吧，不是工程
02/29 13:57
→
joygo
師，好用，用習慣才是重點
02/29 13:57
→
donkilu
如果是成熟準備上線的產品還好說 現在軍備競賽階段
02/29 13:57
→
donkilu
如果自家晶片研發不順 把軟體研發拖垮豈不是更慘
02/29 13:57
→
donkilu
大廠多少還是要買雙保險
02/29 13:58
推
jagger
推
02/29 14:01
推
zhi5566
AVGO到底還可不可以買啊
02/29 14:06
→
LDPC
http://tinyurl.com/2znsvsxa QQ 旁邊看戲
02/29 14:06
→
LDPC
我有買AVGO
02/29 14:06
推
zhi5566
AVGO除了技術強 CEO更強 有其他風險嗎
02/29 14:07
→
zhi5566
是不是無腦AI5 就可以
02/29 14:09
推
leoying
我還真的只有買AI5, 連QQQ都不想買
02/29 14:13
推
rebel
TQQQ王 以後可以不要隨便砍你自己的文章嗎 文章是
02/29 14:13
→
rebel
你的 但下面很多推文很有參考價值 我印像中我的推
02/29 14:13
→
rebel
文就砍了至少三次 實際上應該是更多 尊重一下推文
02/29 14:13
推
AoA1
好文
02/29 14:14
推
kducky
有時候是編輯文章同時推文被吃掉吧？
02/29 14:14
推
zhi5566
50% qqq/tqqq+ 50% AI5 洗頭+局部加強?
02/29 14:15
推
kis28519
推
02/29 14:17
推
rebel
不是 他是整個文章砍掉
02/29 14:19
推
goldmouse
看完了 所以要買那隻
02/29 14:21
推
wst24365888
推
02/29 14:37
推
LDPC
有時真的得砍文 我也常砍 因為有時講太多業界的
02/29 14:40
→
LDPC
會讓自己也有點麻煩 像果家就在這方面抓很嚴格QQ
02/29 14:41
→
roseritter
所以我都手動備分XD
02/29 14:42
→
roseritter
關鍵有時在推文 點一下 就會有更多想法
02/29 14:42
→
LDPC
TQQQ王是好人QQ 我周遭同事沒人上批踢踢講業內事情
02/29 14:42
推
truelove356
AVGO漲最少
02/29 14:45
推
ru04hj4
看完只看到包牌 QQQ
02/29 14:45
推
meaa3
弱弱地問七巨頭五仙女是指？？？
02/29 14:49
推
ProTrader
我還以為你是手動砍文是為了低調 因為說太多
02/29 14:50
→
moonshade
tpu也可以設計成可以解hierarchical問題的
02/29 14:56
推
strlen
是擔心歐美cancel culture嗎？唉
02/29 15:03
推
johnlin35
推
02/29 15:08
推
thomaspig
推
02/29 15:11
推
rebel
好啦 我也說了文章畢竟是你發的 你還是有砍文的權
02/29 15:12
→
rebel
力 只是很多推文很有幫助 不希望回來要找找不到 折
02/29 15:12
→
rebel
衷也許你就編輯 把你的部份不適合的砍掉就好 供參
02/29 15:12
推
stosto
CPU怎麼會在你比較清單上
02/29 15:16
→
stosto
Tpu 的問題就是硬體已經作死了，應用面變成侷限在
02/29 15:19
→
stosto
某些問題上，超出這些問題就不能用了
02/29 15:19
推
ca1123
推TQQQ王
02/29 15:22
推
vlstone
推分享 謝謝
02/29 15:23
推
marke18
推~~
02/29 15:30
推
richaad
https://i.imgur.com/9n1nQ3w.jpg
02/29 15:34
→
richaad
看看cuda 這個量級，後者要追上至少5年以上
02/29 15:34
推
ProTrader
可能是AMD為了自研市場布局嗎? 因為便宜就有市場
02/29 15:48
→
ProTrader
然後蘇媽想要把自研整個吃下來?
02/29 15:48
推
metallolly
有文科翻譯機可以翻譯一下嗎
02/29 15:52
推
smallmac
大家有注意到Meta找陳陽福去當Board Member嗎?一兩
02/29 15:54
→
smallmac
週前的新聞
02/29 15:54
推
smallmac
Sorry 是陳福陽
02/29 15:56
推
roseritter
你就是在酸狗家XD
02/29 16:24
噓
a000000000
他那葛paper也有講vram需求會變小很多 模型越大差
02/29 16:30
→
a000000000
越多 好像號稱70b的可以差到40倍
02/29 16:30
推
roseritter
問個不專業問題 V-RAM大小跟成本正相關可以理解
02/29 16:31
→
roseritter
那設計之初 就把記憶體放大某個安全係數 相較於總
02/29 16:32
噓
a000000000
他那東西關鍵來來去去還是training沒講有省
02/29 16:32
→
a000000000
現狀4能train大model的地方沒幾葛 尼要大家都用尼
02/29 16:33
→
a000000000
那套 那也要資源夠多當side project
02/29 16:33
→
roseritter
成本 V-RAM還是比較便宜的吧 我看蘇嬤的同級產品
02/29 16:33
→
roseritter
v-ram都刻意比N社大
02/29 16:34
→
a000000000
省bit的東西印象中ai剛流行就一堆人搞惹 起碼10+年
02/29 16:34
→
a000000000
有些東西變成標準 tf32 tf16 bf16那些的
02/29 16:34
→
a000000000
標準要那些大公司才推得動
02/29 16:35
→
a000000000
如果只是想湊葛asic概念 去賭的小公司一堆死惹
02/29 16:35
噓
a000000000
尼對vram的理解就錯惹
02/29 16:47
→
a000000000
單卡vram夠大 單卡可以跑的模型就大
02/29 16:48
→
a000000000
像tpu v5那種單顆16G然後拉一堆光纖對連的方案就很
02/29 16:48
→
a000000000
慘 因為那種link的pJ/bit大概是cowos的幾十倍
02/29 16:49
→
a000000000
簡單講人家單卡塞的下的狀態功耗優勢明顯
02/29 16:49
推
FMANT
所以要不要繼續捏NVDA????
02/29 16:51
→
FMANT
就這個問題
02/29 16:51
→
a000000000
蘇媽的192夠塞那種70b惹 而且70B也很多夠用惹
02/29 16:53
→
a000000000
我覺得那種Tb級的下代model跑起來成本也不低
02/29 16:54
→
a000000000
市場可能會先慢慢消化gpt4等級的應用
02/29 16:55
推
fancydick501
hbm是mu喔 還以為是韓國那兩家
02/29 17:48
推
xoy232
這篇給推 NV要爆噴了
02/29 17:52
推
KrisNYC
爆一爆吧 基礎邏輯大家都應該有 目前cuda硬解不可避
02/29 18:09
→
KrisNYC
有能力搞底層繞過cuda相關運算法則的都是巨頭
02/29 18:09
推
lavign
colab選TPU跑深度學習超級慢
02/29 18:28
→
ookimoo
相對很快，很強，但是沒用，下去吧電子垃圾
02/29 18:34
推
richaad
最近Google AI別鬧了，生成圖片一直出大包，美國國
02/29 18:39
→
richaad
父變黑人
02/29 18:39
推
oneIneed
不明覺厲
02/29 18:42
→
fallen01
遙望Cuda當年唸書就有了 寒窗十年
02/29 18:55
推
dodobaho
正解
02/29 19:09
推
pk655tw
謝謝TQQQ王願意分享
02/29 19:33
推
ymlin0331
all in NVDA很怕被機構惡搞
02/29 20:02
→
ymlin0331
all in TQQQ比較穩定啦
02/29 20:02
推
stosto
HBM hynix一直都有，跟nv合作很久了
02/29 20:47
→
stosto
m家是去年殺出來的
02/29 20:47
→
stosto
最近也有新聞說m家先整合進H200了
02/29 20:48
→
stosto
三星目前我所知是完全沒有
02/29 20:48
推
colinshih
TPU 在做矩陣convolution, 核心的運算透過systolic
02/29 21:22
→
colinshih
array 執行。它基本就是將資料的時序關係投影到特
02/29 21:22
→
colinshih
定運算平面最大化運算效率。大矩陣分割在影像處理是
02/29 21:22
→
colinshih
基本問題。即便超大activation 也可以透過多個TPU
02/29 21:22
→
colinshih
協同處理。運算只在乎資料彼此關係, systolic arra
02/29 21:22
→
colinshih
y 只是這些運算的不同種抽象形態表示 對應的都是同
02/29 21:22
→
colinshih
樣的matrix convolution. 差別最多在於資料流處理
02/29 21:22
→
colinshih
的差異。這種硬體架構對於邏輯設計算是基本的 只是
02/29 21:22
→
colinshih
教科書裡面的例子
02/29 21:22
推
ProTrader
樓上的說法是 TPU如何用演算法克服"大型"
02/29 21:50
→
ProTrader
對TPU設計廠商來說只是基本工?
02/29 21:51
→
ProTrader
類似在學校學生超大數乘法的演算法作業?
02/29 21:52
→
Lipraxde
切圖、串連再厲害，ram 不夠大就是虧啦，像武器一
02/29 22:06
→
Lipraxde
樣，一寸長一寸強
02/29 22:06
推
ProTrader
所以蘇媽喜歡的是那種很大很大可以一次放進去
02/29 22:33
→
ProTrader
所有資料的vram
02/29 22:34
推
pponywong
重點還是你vram硬體設計再大 也不可能塞得下一個
02/29 22:47
→
pponywong
model 所以意義在哪裡
02/29 22:47
推
ProTrader
應該是以後會有 "大型" "小型" 兩種市場需求吧
02/29 23:02
推
silentneko
推 雖然很多看不懂@@
03/01 00:34
推
aegis43210
LPU的成本太高了啦，塞一堆sram，哪來那麼高的良率
03/01 01:13
→
aegis43210
及封裝量能來玩這個，成本效益還是輸ASIC
03/01 01:13
→
aegis43210
西台灣就是有算力瓶頸才開始玩模型剪枝，等到未來各
03/01 01:18
→
aegis43210
行各業都需要AI推論時就會很有用，不過西台灣也只能
03/01 01:18
→
aegis43210
這樣玩，L20的推論只是堪用，所以配合中芯晶片的無
03/01 01:18
→
aegis43210
奈之舉
03/01 01:18
推
colinshih
Protrader: 20-30年前很多應用的論文在不同領域，和
03/01 01:45
→
colinshih
TPU 的問題基礎類似。
03/01 01:45
推
yumumu
讚
03/01 06:58
噓
astroboy0
ㄏㄏ怎麼沒有人提挖礦潮要回來，老黃又要賺兩邊
03/01 07:15
→
astroboy0
怎麼看都是老黃繼續輾壓，市值能多高？或是搞拆股
03/01 07:16
推
Prado4840
技術上是一回事、但不代表有訂單、不代表LLM是強需
03/01 16:44
→
Prado4840
求。好吧我是借機希望有人可以回答我的疑惑
03/01 16:44
→
Lipraxde
LLM 比專家系統的助理好多了，不過要變成強需求的
03/02 11:22
→
Lipraxde
話可能要先解決準確度的問題，不然 LLM 就像在作夢
03/02 11:22