Re: [討論] AI晶片

作者sheepmanager (AI專家)

標題Re: [討論] AI晶片

時間Sun Sep 18 00:55:00 2022

這我來回答吧 AI晶片一般是指用來加速深度學習模型推理的晶片如果是訓練通常還是利用Gpu 因為生態系比較成熟那麼深度學習推理時間會耗在哪裡呢通常就是convolution 或是Gemm 當然convolution 可以透過線性代數幾次的轉換變成gemm 這也是一門學問所以矩陣相乘等於是最重要的運算了你只要能加速這麼簡單的東西就能號稱你在做AI晶片了不斷的堆硬體上去性能就出來了甚至有些公司走火入魔連非矩陣運算的指令都做了因為深度學習的模型越來越大所以並行去運算矩陣相乘就是很重要的事了你的硬體並行時耗電跟降頻做得夠好的話就能有點能見度了現在中國的新創沒有一家做到的所以就有一些人腦袋動到光計算上面訊號轉成光能計算算完再轉回電但這非常的不穩定基本上也是不可能回收成本好了你說這麼簡單的話那也很容易啊然而深度學習在運行過程中還有一個很大的耗損就是算子與算子之間的資料傳輸用硬體加速過後每個算子的時間大幅縮短但是彼此之間的memory copy仍然耗損嚴重於是cache或是local memory變的異常重要算子與算子之間的fusion做得好搭配上速度夠快又大的memory基本上也很厲害了中國那一堆新創耗電降頻不行現在就往這方向拼命做那麼AI晶片前景怎麼樣呢老實說前景是死路一條 CPU GPU 大公司都在從自家指令來優化模型或是直接配上特殊資料格式如tf32 fp8 華為的c4比起來就是個花拳繡腿還推行不起來我現在底下50多人就在做未來的方向從模型優化演算法記憶體策略框架到底層assembly加速完整的一套方案如果你有關注一些新的paper 優化到最後對比常用硬體 AI晶片根本沒有優勢就像挖礦沒有收益時的礦機一樣純電子垃圾 ※ 引述《QQmickey》之銘言 : 雖然從新聞上看到三星已經出了不知道是不是唬爛的 : 自己也是理工背景但是想問科技版的大大們 : 這是真的嗎? : 我所學的覺得不太可能 : 雖然很多事很難講已知用火 : 諾貝爾物理獎也一堆錯的 : 難道是神學 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.76.1.30 (臺灣) ※ 文章網址: https://webptt.cc/bbs/Tech_Job/M.1663433702.A.04B.html

推文 (105)

推 WTF1111 推！ 09/18 01:07

推 djboy 推 09/18 01:11

推 QQmickey 電子垃圾那幹嗎做??大數據之前就有了 09/18 01:16

推 QQmickey 而且優化到最後ai不是會自算嗎?? 09/18 01:20

推 blacktea5 推 09/18 01:27

→ labbat 疑惑？哪個做AI晶片的不最佳化暫存器不最佳化快取的 09/18 01:34

推 domyutmost 請問最近Graphcore的IPU有搞頭嗎？ 09/18 01:49

→ outzumin 老闆請問有缺人嗎? 09/18 01:58

推 LLSGG 涼 09/18 02:01

推 snow10725 謝謝補充說明 09/18 02:19

推 zxp9505007 涼 09/18 02:32

推 x3795566 有缺人嗎(舉手 09/18 02:53

→ Colac5566 說穿了Ai晶片只是GPU的subset 09/18 03:01

→ Colac5566 GPU DSP VPU NPU TPU 科科 09/18 03:03

推 gg15ffgg15ff 用asic做不贏gpu cpu based的ai晶片，倒一倒算了 09/18 03:35

推 Morphee BIREN的BR100/BR104 你評價如何? 09/18 03:42

推 mmonkeyboyy ASIC做不贏收收會好點現在問題不是做不贏是時候還 09/18 04:33

→ mmonkeyboyy 沒到 09/18 04:33

推 iamala 唉，將帥無能累死三軍就是這樣...明明能賺錢的東東 09/18 06:10

→ iamala 自以為垃圾 09/18 06:10

推 dixsion 推 09/18 07:11

推 brightest 大公司都有AI processor 像tpu等 cpu/gpu/tpu很難 09/18 08:56

→ brightest 互相取代 09/18 08:56

→ aas5566 同意樓樓上 09/18 08:57

→ aas5566 你自己不行希望你底下的人能取代你 09/18 08:58

推 SMIC5566 看不出是真的還是唬爛的只看的出想被喊"大大你好厲 09/18 09:06

→ SMIC5566 害"哈 09/18 09:06

推 gn01216674 你意思是給你50人，然後你做出垃圾嗎 09/18 09:09

→ gn01216674 你哪個部門說一下我不敢去... 09/18 09:09

推 imreader 推電子垃圾 09/18 09:17

噓 birdyman 這個人的文章可信度存疑給噓 09/18 09:35

推 leoloveivy MIT 韓那個lab看一看抄一抄搭上台積電很難嗎 09/18 10:02

噓 lunasdejavu 那個未來的方向早就做好幾年了,一聽就知道你不是那 09/18 10:08

→ lunasdejavu 方面背景的,只是年資長就被不懂的人資抓去當大頭 09/18 10:09

→ sheepmanager 呵好幾年怎麼減小transformer的sequence說來聽聽 09/18 10:10

→ sheepmanager 你有top conference嗎 09/18 10:10

→ sheepmanager 這種優化還要搭配硬體 PTT臥虎藏龍啊還能早好幾年 09/18 10:27

→ sheepmanager 做出新硬體並軟硬配合看來data center cpu gpu 09/18 10:27

→ sheepmanager 都是台廠天下了但市佔率好像是0欸 09/18 10:27

→ sheepmanager 美國做這類的新創去年才出來都沒有ptt的厲害嘴巴 09/18 10:28

→ sheepmanager 超越加州 09/18 10:28

推 abc85216923 推好心 09/18 11:21

→ OBTea 考慮效能也要考慮功耗和資源，要這樣說影像壓縮用軟 09/18 12:50

→ OBTea 解，理論上目前廣用硬體也可以超越專用硬體 09/18 12:51

→ OBTea 目前純AI晶片台灣也不是排在前面的，資料中心沒有台 09/18 12:52

→ OBTea 廠晶片也很正常 09/18 12:53

→ hank780420 專用硬體架構輸CPU GPU硬幹你有沒有想過會不會輸的 09/18 13:02

→ hank780420 是做的那個人 09/18 13:02

→ sheepmanager google的gpu要求可是白天運行遠端遊戲晚上才跑AI 09/18 13:11

→ sheepmanager 專用硬體做得到嗎又不是做了AI功能大家就會買單 09/18 13:11

→ sheepmanager 當然google不會這樣要求自家的東西但是晶片公司處 09/18 13:12

→ sheepmanager 境就是這麼坎坷 09/18 13:12

→ hank780420 你該不會只知道用CMOS硬幹吧這樣當然輸大廠 09/18 13:21

→ sheepmanager 講的都不是同一個東西你也能回 09/18 13:43

噓 lunashining 會講TOP Conference就知道是外行了,重要東西都公司 09/18 14:15

→ lunashining 內部自己做誰會去公開重要的東西,再來近年論文品質 09/18 14:17

→ lunashining 越來越水,不是拿簡單dataset東西做看起來高難任務 09/18 14:18

→ lunashining 就是隨便接個transformer performance看起數字變好 09/18 14:19

→ lunashining 就行了,講美國新創還來這邊留言不會是在sifive做吧 09/18 14:20

噓 shanks2012 觀念不太正確 09/18 14:21

→ sheepmanager 噗 nvidia跟微軟都是外行你們公司最內行 09/18 14:26

噓 lunasdejavu 不要講這麼多把你們家MLPerf數據貼上來看阿呵 09/18 14:28

→ sheepmanager 呵呵想釣人？我們MLPerf數字蠻多的啦然後呢給 09/18 14:31

→ sheepmanager 你看幹嘛讓你去歐兔徵友？ 09/18 14:31

噓 lunasdejavu 這樣就怕啦XDDD 只說多就是排名不高,敢出來在網路嘴 09/18 14:33

→ lunasdejavu 一定不是大公司的,八成就是待過大公司跳到小公司 09/18 14:34

→ lunasdejavu 或竹北中資騙騙錢那種等級的 09/18 14:35

→ sheepmanager 呵呵讓你酸又不要緊我可不想被認出來比起一個徵 09/18 14:35

→ sheepmanager 友徵四年的人我還是蠻注重隱私的 09/18 14:35

→ followwar 講top conf外行? 不如你先說自己發幾篇吧不是很水? 09/18 14:52

→ followwar 不公開整個社群哪會進步? github都是佛心來的? 09/18 14:57

→ chang1248w 確實挺佛心的 09/18 15:38

噓 thiy71 先贏得了耐能再來說嘴 09/18 16:43

噓 Colac5566 口憐喔，還沒退休... 09/18 18:19

推 LLVMBackend https://tvm.apache.org/docs/topic/vta/index.html 09/18 18:31

→ hank780420 就連不是做電路端做材料的都知道你講的問題解答在哪 09/18 19:03

→ hank780420 你到底多久沒看文獻... 09/18 19:03

→ sheepmanager 哇你知道問題解答在哪好厲害 Nvidia的秘密都被你挖 09/18 20:28

→ sheepmanager 出來了 NV記憶體存取的專利就是這產業最有價值的東 09/18 20:28

→ sheepmanager 西你看看文獻就能找到 intel amd的人都不如你呢 09/18 20:28

→ sheepmanager 想必是個fellow吧 09/18 20:28

→ sheepmanager Raja Mike hong 都解決不掉的問題你查文獻就能查 09/18 20:30

→ sheepmanager 到欸奇才啊 09/18 20:30

→ sheepmanager 啊不對連jim keller 這種傳奇人物都沒處理掉這問 09/18 20:32

→ sheepmanager 題你一個材料專業的人吊打這些大神喔 09/18 20:32

→ sheepmanager 連citadel這種頂級投行找了專業的人去研究nv硬體的 09/18 20:39

→ sheepmanager 行為最後的分析報告也沒能觸碰到核心你說看文獻 09/18 20:39

→ sheepmanager 就可以了太神了 09/18 20:39

推 IdenTits 我也不看好 XD 09/19 09:31

→ leo61532 他就是之前工作十年美商主管職哥啊呵呵 09/19 21:17

推 mmonkeyboyy Top conference 都嘛做完賺完錢去秀肌肉的 09/20 01:12

→ mmonkeyboyy 現在問題是market 做了要賣誰？做了會不會被卡能 09/20 01:16

→ mmonkeyboyy 做AI針對某NN專用IC的公司數起來都沒幾家 09/20 01:16

推 shikemurajy Special purpose的電路效能會輸general purpose， 09/20 01:17

→ shikemurajy 聽起來就不合理 09/20 01:17

→ mmonkeyboyy TVM卡了好一陣了說實話概念好但很難推 09/20 01:18

→ mmonkeyboyy 是啊但誰會那麼做那來市場可賣？ 09/20 01:19

→ mmonkeyboyy Top conference 硬體相關的一堆都在玩bit … 壓縮 09/20 01:22

→ mmonkeyboyy XD 做NN也ㄧ堆搞這個…. 真正做AIC的人都知道這不是 09/20 01:22

→ mmonkeyboyy 這樣搞啊 09/20 01:22

推 vlstone 推！ 09/21 00:20

→ sheepmanager 誰跟你比電路效能最後都是整網性能下去看硬體性 09/21 15:07

→ sheepmanager 能再強也強不過直接從模型優化 09/21 15:07

推 mmonkeyboyy 現在都是ㄧ起做好嗎？這也是很多公司搞得不上不下 09/22 05:18

→ mmonkeyboyy 死在沙灘上的原因 09/22 05:18