從AI晶片來說 基本上算力效率跟記憶體就是大趨勢 存算一體就是一個主軸 所以可以買HBM/算力小隊/台G 我基本上就是這樣幹 這篇就類似之前的Mamba這類型paper 就是希望能取代Transformer 但當訓練到 大資料量時 這類型模型就是沒辦法很好的scalable 當大量資料套上時 優勢就消失 像這篇只訓練到最高1.3B模型 100B tokens 對比transforerm動輒>10B 8T>tokens 這篇分數 https://openreview.net/forum?id=nbMeRvNb7A 整體評價就是: Borderline accept 海力士跟台積跟NVDA基本上不太可能會買錯了 其他算力小隊AMD/AVGO可以加減買 應用端那邊大概兩年後會有一堆公司上來 我個人覺得接下來五年應該會陸續看到 有趣東西 而那天如果來到的話 至上能靠買股要對沖一些產業上改變的經濟衝擊 類似跡象你可以看這個 https://unwire.pro/2025/12/03/aws-ai-frontier/ai/ 最主要核心概念是 以前我們在處理任何事情 受限資料型態或者產業 需要理解一些專業術語 或者理解如何操作資料 都是必須要從一個龐大亂序的資料 找到我們的需求 而現在這些對資料理解方式 可以改成用 "自然語言去操作" 可以想成是一個簡單統一方式來面臨現實世界龐大資訊操作 舉個例子 以前在公司 我如果需要一些IT support 我可能得先想好去找哪個IT支援 如果是GPU cluster壞了 寫單子給處理gpu cluster 有時候我想開一個H100 x 100 使用 寫了request給IT說 他可能會 要你得先去跟某某 ai infra team得到許可 於是我針對該infra team 申請許可 他會回信說你得要提供現在做project代號 我們得看你是跟哪個business product部門 我們要知道他們finance budget code 這套流程跑下來 大概就是兩個禮拜 因為所有一來一往都是人類 對方有時在忙別的 回復可能是幾個小時 或者他們那邊要核對 因為他們也是這樣處理全公司IT request 所以不可能即時 然後他們也得找到對應上層拿權限 現在有AI代理人(Agent) 任何事情就是自然語言操作 你不用去花時間找對窗口 也不用花時間研究怎樣申請流程 你就單純跟他說你要啥 比方你對serval 這家公司出的IT代理人 Me:我要H100x100 AI(Serval): 你是要用在產品inference還是training? Me:training AI: 你這是foundamental research 還是prodouct開發? Me:prdouct AI: 好的 你優先級別會是P0 能寫一下你的product細節嗎 Me: 獵戶座Project ,counter part負責人是 xxxx AI: 好的 表格已經填好 你需要多少時間? 10T 儲存夠用嗎 需要多少個Bucket? Me: 10T ok, 5個1T bucket, AI:好的 我已經把所有對應表格填好 送出中 一個小時後 人類IT, Infra老大 都在表格上簽呈打個勾 AI: 你現在擁有3個月H100x100 存取cluster 路徑如下 一個月後 h100 崩了 凌晨三點: 我打開slack介面 對AI:誒 GPU cluster崩了 幫我想想辦法 多拉a夢 QQ AI:我幫你看一下 好的 某些node的確不穩 基於你有P0等級 我幫你換到另一個node 凌晨四點 得到一個健康的node Me: 謝謝你 多拉a夢 QQ 對比以前我還得去花幾分鐘看表格怎樣填 送給哪個team request 繁瑣變得簡單話 AI-IT公司介紹 https://reurl.cc/rKE764 這讓我想到星際迷航 IV：奮勇向前 當主角群從未來回到1980 跟當地人要借用電腦時 他們一開始是用聲音去操作電腦 後來1980人類說你得用鍵盤打字的 主角:歐歐歐歐歐 震驚樣 https://www.youtube.com/watch?v=hShY6xZWVGE 我的猜測是 在接下來五年後 許多繁瑣的操作不在像以前 必須理解流程 遷就系統 可以直接用自然對話 把你需求說出 而ai代理人就是那個介面 架在傳統龐大企業架構 讓人類可以無負擔的 不需要花瑣碎時間推敲是該哪個部門協調 直接把事情做完 我們下一代會用不同方式去操作資訊 AWS在美國賭城召開第14屆re:Invent年會 已經展現這事情離我們不遠了(around corner) 有一個demo環節是 一個業餘愛好開發者 他只用一個小時 做了一個用乒乓球投進紙杯遊戲 系統根據距離和不同杯子 系統會在顯示板上算出數字遊戲分數 然後印發折價卷促銷廣告 以前這類型project 你要一個懂的用computer vision寫出算法 偵測球 和球掉落在那個杯子 然後一個前端寫UI架構 一個後端把整個系統處理完 至少是好幾天的 數個人的工時 現在你只要用自然語言 一個業餘愛好者 在一個小時內 就搭出這個平台 現在許多購物網站Walmart/Amazon 開始引入自然語言 消費者不需要知道去哪 找到自己要的東西 只要說你的價錢預算 顏色 類型 代理人會幫你找到這些資訊 而人類開始用自然語言來處理任何每天瑣碎事務 透過ai代理人 去接觸上古時代機器資料 以前是我們得屈就這些系統的規則 理解系統 才能得到我們要的資料 現在你有多拉a夢 對他說 幫幫我 他就會幫你了 那一天來的話 你手上可能需要NV/TSM/SK Hynix/Googl/QQQ 因為財富上的累積可能也會受此影響 講點題外話 而這也讓我有時感受到如果不買股 那財富差距可能會拉更大 Blind/一畝三分地/ 都可以看到一堆人資產靠者這波科技股直接衝到10~20M美金甚至50M https://youtu.be/V_fV_g7Isy4?si=RU9CVg4eJRTDhztD 當然股票的確也在高點 但我一直覺到完全空手的是不太對 至少你可以保有30%現金 作為weather任何將來的storm -- 幫歐洲QQ 幫人類QQ ※ 引述《curiserosi ()》之銘言： : : 沒關係，偷偷告訴你一個Insight : : 今年NeurIPS 2025有一篇超重量級的論文 : : Introducing Nested Learning : : 這篇文論的重要程度不亞於Attention is all you need : : 甚至可以說有過之而無不及 : : Transfomer架構只是發明了蒸氣機 : : Nested Learning這篇論文，簡直就是熱力學定律的等級了 : : 基本上等於宣告Transformer架構過時了(因為是一種扁平和單一頻率的特例) : : 未來三到五年，全面轉向Nested Learning的時代 : : 以下文字是我先寫一版，再請Gemini潤稿的洞察 : : --------這是AI潤稿的分隔線-------- : : 當前 AI 發展正受制於一道物理鐵律：記憶體牆（Memory Wall）。傳統 Transformer 架 : : 構依賴 KV Cache 維持上下文，這本質上是一種「以頻寬換取長度」的低效策略。隨 : : 著上下文長度 T 的增加，Attention 機制的計算複雜度呈 O(T^2) 增長，而推論時 : : 的記憶體搬運量呈 O(T) 線性增長。在 HBM 頻寬成長遠落後於 GPU 算力的現狀下，這 : : 種依賴儲存大量未經壓縮原始狀態的架構，註定會從 Compute-Bound 跌落至 IO-Bound : : 的深淵。 : : Nested Learning 的出現，透過對記憶與推理本質的重新理解，為此困境帶來了典範轉移 : : 級別的解答。 : : 其核心突破在於「推論即訓練」的數學創新——Nested Learning 揭示了 : : Attention 機制在本質上等價於單步的梯度下降更新。基於此，HOPE 架構不再被動地檢 : : 索歷史，而是主動將資訊即時壓縮為模型權重。這將原本受限於頻寬的檢索問題，轉化為 : : 僅需固定算力的狀態更新問題，從根本上粉碎了記憶體牆。 : : 在應用層面，這種架構徹底重塑了 AI 的個性化能力。HOPE 的動態記憶機制（Fast : : Weights） 不再依賴傳統模型那種外掛式的提示詞（Prompting）來「模擬」短期記憶， : : 而是透過梯度更新，將使用者的偏好與習慣即時「內化」為模型參數的一部分。這不 : : 僅在工程上根除了重複處理提示詞的算力浪費，更在體驗上創造出具備「演化能力」的專 : : 屬模型，讓 AI 隨著每一次互動變得更懂你。 : : 這一變革預示著當前 HBM 需求高速增長的趨勢將顯著放緩，技術改革的方向將轉向針對 : : 不同更新層級的硬體特化： : : 邊緣裝置 (Edge)： 承載高頻更新的快層，將不再單純追求頻寬，而是轉向追求大容量 : : SRAM 與極致的能效比，以支撐毫秒級的狀態寫入與計算。 : : 雲端中心 (Cloud)： 承載低頻更新的慢層，為了處理更複雜的邏輯推理與龐大的智能結 : : 構，將演化出針對非歐幾何的特化運算單元，以在雙曲空間中實現更高維度的高效推理。 : : ----------這是AI潤稿的分隔線----------- : : 你各位要小心HBM市場在2026年末的崩潰反轉 : : 短期因為各種高頻信號，還是會持續推高HBM的市場價格 : : 然後記憶體因為這些需求訊號，會瘋狂擴廠 : : 等到「基於超大KV Cache的Transfomer架構」路徑依賴崩潰 : : 新架構全面轉向HOPE的時侯 : : 嘻嘻 刺激囉~~~ : 小弟不才，關於技術的部份看不懂 : 但還是想請教 : 1.現有transfomer架構因為需要死背硬記，所以需要超大規模記憶體 : 來對應長文本、圖像，甚至影片，到長影片所需的記憶體規模已經 : 不具備實際可行性或是沒有經濟價值 : 這部分Nested Learning具備絕對優勢，面對長文本、圖像，甚至長影片 : 對記憶體的需求成長可控 : 2.Nested Learning具備持續學習的能力，這點是transformer不具備的 : 基於以上兩點，即使現在還有很多缺點，未來也絕對有Nested Learning : 的一席之地(因為transformer在這些地方的劣勢是結構性的，無法改變) : 請問我這理解有沒有哪邊有問題？ : 如果未來Nested Learning大規模佈署，在產業面上的影響 : 1.SRAM的需求會大幅增加，Nested Learning需要的不是大量的HBM來記憶 : 而是需要能快速響應的SRAM來對應CMS : 2.算力的需求暴增，相比現在的transformer是卡在記憶體數量與頻寬 : Nested Learning因為需要Backward Pass，需要的是數倍的算力 : 3.由上面兩點推測，封裝需求也會改變，HBM+GPU的封裝需求成長減緩 : 如CoWoS，相對的interposer、載板也不需要那麼大，所以這些產業 : 成長會放緩 : 我腦容量不夠，這是我想像力的極限了 : 什麼雙曲空間已經超出我認知範圍 : 不過還是想問一下我這樣理解有沒有什麼問題 : 感謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國) ※ 文章網址: https://webptt.cc/bbs/Stock/M.1765648618.A.1DA.html ※ 編輯: LDPC (76.21.72.78 美國), 12/14/2025 02:03:50