週末來閒聊美中AI晶片的故事, 這是我個人觀點也會加上我對未來十年的看法, 我盡量避免中美政治議題與辦公室政治學 先說結論, 這也是我當年面試高通SnapDragon Core team時, 最大的頭跟我說的話: 業界一直在重複循環相同的發展, 從大到小, 小再到大, 從單機到分散式處理, 再從分散式處理到單機 他當年在IBM做Mainframe, 同時期的競爭對手是SunMicro System, 當時的情況就跟現在AI比拼算力一模一樣, 大家都想盡辦法做出超級電腦, 結果他們團隊在離開IBM時的最後一個project, 是跟蘇大媽合作的cell process, 給遊戲機使用, 然後他們出來開公司做的是手機ARM CPU, 而同樣的對手從SunMicrso System離開也是開公司(PA Semi)做手機ARM CPU, 又很巧合的一家被高通收購, 另一家被蘋果收購, 他說他們無法想像同一個團隊做比一個房間還要大的超級電腦, 最後居然是做比一個指甲還要小的手機CPU 以下是我的看法, AI 晶片正在走過一模一樣的路, 現在處在堆算力的超級電腦階段, 之後一定會慢慢演變到EdgeAI, 模型也一定會從LLM 慢慢轉變成分散式處理的SLM, 我無法給確切時間, 但是我猜兩三年內會轉換成分散式處理的SLM, EdgeAI的應用應該在三到五年內會普及, 再多說就太底層的東西, 我自己也不是很懂, 反正你上網找SLM, LLM, EdgeAI 就能找到相對應的公司股票 接下來我用編年史的方式描述AI晶片的發展過程, 大概在2010年之前, 大部分的ML都還是靠CPU 運算比較多, GPU加速有, 但是幫助不大, 真正帶起這波AI浪潮的關鍵在2010年初期, 有人拿GPU 去跑類神經網路 (neural network), 把一個卡住四五十年的人類古老科技 (neural network), 用GPU 的算力重新定義, 也就是Deep Learning, AI 晶片突然火紅起來 在2010年初, 只有NVDA GPU能跑Deep Learning, 華為在那時候想開發類似的AI 晶片跑Deep Learning, 也就是昇騰的第一版, 同時間, 寒武紀把NPU AI晶片的想法實現在手機上, 谷歌那時候也看到Deep Learning的威力, 開始開發TPU 所以第一波AI晶片的領跑者是NVDA, 谷歌, 華為, 寒武紀大概落後NVDA一兩年, 不過同樣是第一梯隊 手機NPU的研發相對沒那麼困難, 所以隔不久, 很多公司也就跟著發表類似的手機NPU, 包含蘋果, 高通, 谷歌 (Tensor), 聯發科 (後來分出來成耐能科技), 這大概是2016年左右 但是server端的AI 晶片開發並不順利, 很多公司嘗試打入 server AI 晶片, 全都失敗, 這段時間, 2016-2022年, 只有NVDA 一家寡占, 其中有一些公司陸續開發一些ASIC, 像是阿里巴巴的含光, Amazon ASIC, 谷歌TPU, 但是"每年"一直持續開發演進的只有谷歌TPU, 原因是AI應用達到瓶頸了, Deep Learning 在影像處理跟語音辨識等等超強, 但是到了2022年, 這些應用已經到了極限, 能用到的都用了, 圖像分辨率可以高達99.99% (你逃不掉天網的), AI很像要冷卻下來了, 現有的ASIC 處理影像, 語音跟手機照相, 監視器等等已經足夠, 然後就迎來了AI二次革命, ChatGPT, 這個真的把業界打得措手不及, 谷歌是真的被殺的很慘, 尤其GPT這算法還是谷歌自己發明自己open source, 被別人拿自己的魔法來攻擊自己, 2022年之後, ChatGPT 帶來LLM的需求, 之前所有的設計全都不適用, 不能用在LLM, 不論是NPU, TPU, 含光, 昇騰全都不能用在LLM, 整個架構跟設計必須重做, 當然, 事情沒有真的那麼糟, 畢竟LLM (ChatGPT) 只是千萬種AI應用之一, 大部分的AI應用不用LLM的話, 舊有的ASIC跟架構還是能順順使用 只是2022年之後, LLM ChatGPT在風頭上, 但是當時全世界只有NVDA GPU能夠跑LLM, 業界必須重新設計架構來面對LLM, 這兩三年業界也的確研發出新的架構可以處理LLM, 包含博通, Alab, Mrvl, 谷歌TPU等等, 華為的解法是類似博通Alab的方式用網路堆算力, 阿里巴巴跟寒武紀的架構我就不熟了, 故事講完了 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.103.225.6 (美國) ※ 文章網址: https://webptt.cc/bbs/Stock/M.1756685508.A.928.html 原來的架構記憶體不夠大可以處理LLM 訓練, NVDA GPU 在那時候就已經可以串連(NVLink, NVSwitch)做LLM 訓練 ※ 編輯: waitrop (76.103.225.6 美國), 09/01/2025 12:04:45 ※ 編輯: waitrop (76.103.225.6 美國), 09/01/2025 12:05:44 EdgeAI 跟 SLM 只是個統稱, 其方向是對某些AI應用做本地端的硬體加速與應用, 每種不同的EdgeAI 跟 SLM 都有完全不同的設計, 所以EdgeAI 與SLM 的方向跟AGI剛好相反, 但是可以透過分散式處理達到AGI的效果 所以EdgeAI 很成熟只在特定某些部分的應用, 目前最成熟的是圖像辨識跟語音辨識, 比方說人臉辨識99.99%準確率, 阿里巴巴的含光最強的就是圖像辨識這塊, 被拿去裝在無人商店監視器, 天網系統, 小愛等等, 但是Chat GPT類的應用在 EdgeAI 非常不成熟, 目前只有Gemini 能夠在EdgeAI 本地執行, OpenAI ChatGPT要遠端連線到伺服器處理 我個人看法, 自駕車跟智慧眼鏡雖然還稱不上是成熟, 但是自駕車跟智慧眼鏡的EdgeAI廣泛運用今年已經開始, 大概一兩年的時間能夠成熟, 監視器,語音辨識等等已經完全成熟, 最後最難的部分會是在手機的EdgeAI, 因為手機的EdgeAI 會比較偏向AGI, 各種AI應用都會想在手機上面實現 ※ 編輯: waitrop (76.103.225.6 美國), 09/01/2025 14:42:14 不是, 你說的Gerard W. 是nuvia, 主要是做筆電的CPU, 我是在nuvia之前的core team, 做手機CPU krait kryo, 後來整組幾千人被裁掉, 所以我才會中年失業, 這又是另外一個故事了 ※ 編輯: waitrop (76.103.225.6 美國), 09/03/2025 11:47:56