※ 引述《csie68 (小春子)》之銘言： : AI可能會取代"人力" : 一些基礎的工作 就像現在的電動車 : 但不可能取代"人類" : 因為沒有電 AI就無法運作 拔掉插頭 它能做甚麼？ : 所以結論 : AI會取代資工人嗎? : 答案是 不會 : 因為資工系 是人 不是電腦 : 無論AI發展得多好 都無法取代人 : 因為他就不是人 怎麼取代？ : ※ 引述《xa56 (枒)》之銘言： : : 東西會越來越進步啊 : : 只能說未來只有像設備工程師 : : 這種黑手而且一個當好幾個人用的 : : 才能活下去吧 : : 製程類的都可以靠ai了 : : 只剩改機修機這種雜活暫時沒人可以處理 阿肥外商碼農阿肥啦！ 我只能說當前甚至往後十幾年都很難完全取代，除非真正的AGI實現了，那取代的可能不 止資工人，而是整個人類社會了，想想看AGI都有人類智慧了，那鎖螺絲、自己修理自己 或是檢測同類機器人都是很簡單的，那幹嘛還找人類黑手？ 先說說像GPT-4即便是大成功的當下，很多企業要復現這樣的模型難度也是跟登天一樣 ，整個複雜系統工程是OPENAI在標榜GPT-4可scalable的基礎，這邊說說Meta(Facebook) 其實之前有實現開源的GPT-3，光是訓練重啟就花了整整五十次，其中有各種像顯卡崩潰 、loss跑飛等等，這些都是需要建構好的基礎系統跟對於複雜系統的開發維護才能解決， 不是說很輕鬆的事情。 https://i.imgur.com/pLsUJnR.jpg 這邊在說說這張圖，這是ICLR 2020的一篇Paper，充分說明當前DL的難點，這邊data A跟 data B有一條藍色的部分是local minimum ，而白色星星移動點是模型初始值到鞍點，可 以發現到隨機起始雖然都能始模型到達一定的低點也就是一定的精度，但是內部神經節點 的激活功能卻完全不同，這也充分解釋了為什麼神經網路的解釋性那麼差，而且隨著參數 量越來越複雜，可解釋就成比例下降，最近OpenAI拿GPT-4來解釋神經節點也發現這種現 象，有些神經網路節點看似有對一些抽象概念激活可以解釋，但是有些連人都很難理解他 激活了哪些概念。 而且當數據分佈發生變化，內部不變性也會改變，雖然說最近有一些研究認為現實世界的 結構是共享低複雜高結構化的所以也間接證明爲什麼GPT-4可以處理很多一般性的問題， 但是我們還是發現他對於高複雜度的問題像是數學等依舊是蠻差的，也剛好驗證了這類大 語言模型更偏好kolmogorov複雜度低的預測，而他也確實學習到了其中的歸納偏置。 最後一點，就是當前基本上所有的模型都是基於類貝葉斯歸納原則的，若是要從哲學上探 究勢必要挑戰卡爾波普爾奠定科學非歸納的認知論，否則要模型取代一門科學學科跟研究 都是不可能的，尤其是模型在面對Out of distribution 的問題時當前基於梯度的反向傳 播本質上是無解的，也就是為什麼我之前會說要完全取代資工/工程師很困難，最多是讓 工程師未來不需要一行一行寫code僅需掌握一些抽象概念然後給模型優化方向跟目標來進 行程式撰寫，而且撰寫程式的複雜度也會隨著越抽象門檻越來越高，因為你必須搞懂什麼 樣的優化方向而不是顯式開發。 除非未來真的出現更好的學習算法或是我們真的完全可以復刻大腦，不然真的要離AGI還 差很遠的，也就是LeCun說得當前深度學習還缺少世界模型、Hinton一直想找到能取代反 向傳播跟梯度下降的新的學習算法的原因。但即使是這樣LLM也確實充分展現了他跟人類 完全不同的強大力量，只是他現在甚至未來十年都仍需要依附人類之上。 以上 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.45.8.61 (臺灣) ※ 文章網址: https://webptt.cc/bbs/Tech_Job/M.1685812626.A.F70.html ※ 編輯: sxy67230 (114.45.8.61 臺灣), 06/04/2023 01:22:44 ※ 編輯: sxy67230 (114.45.8.61 臺灣), 06/04/2023 01:47:29 這邊是假設AGI真的實現，那他不是只有會鎖螺絲，就像人類能自我急救、急救他人一樣 ，那就不是一台專門鎖螺絲的機器，他可以做任何任務包含知道自己哪個部位受損該如何 自救。AGI實現的話，人類社會就不需要存在了，那才是真正的大問題。只是當前人類離 這個階段還很遠，當前所有深度學習模型只是基於歸納式的模型，那就必須依附在人類之 上。 ※ 編輯: sxy67230 (114.45.8.61 臺灣), 06/04/2023 07:48:33 所以LLaMa有GPT-4的參數量跟性能嗎？我這邊前面提到的就是OpenAI自己公佈他們訓練GP T-4的可scalable 的工程化細節，這個放眼到現在要復現跟GPT-4一樣參數的跟scalable 能力，依然是不容易的事情。然後這邊是拿完全復刻GPT-3的OPT-3來做對比，利基點要一 樣才能做比對，然後深度學習可解釋的問題在2023的今天這篇2020的Paper基礎學習算法 依舊沒有改變所以依然有效，光是今年4月就有相關研究在研究一些學習有效性問題也發 現GPT-2、GPT-3更傾向低複雜度建模了，建議DrTech先看清楚文章脈絡再回覆喔。 P.S. 過時的文章不代表完全無用，要看中間有多少翻新的成果，當然對於基礎學習算法 的研究很多都要隔幾年才出現一篇，這類基礎學理當前還是很薄弱的。 ※ 編輯: sxy67230 (49.216.132.111 臺灣), 06/04/2023 14:44:02 我覺得你有點誤會了，這邊是兩個問題分開說明的。 GPT-4是沒有公佈他的具體訓練細節跟參數，只能知道跟GPT-3差不多可能更大。可以看一 下GPT-4 report第三頁還是第四頁他們有討論到他們整體系統已經經過優化能做到從小模 型直接推估出最終大模型的loss這點就算是你直接拿開源Llama 訓練都很難復現GPT-4的 工程能力，我的第一個問題回覆是指撇開模型效能不管來探討純粹工程複雜度，當然Llam a用1/10不到達到相應的效果是很好的，但是考量到未來萬一有想復現甚至把羊駝家族提 升到對應參數量那第一個問題就是要怎麼弄出跟OpenAI一樣的系統確保訓練穩定這件事， 所以我才會說是不容易的，不是要拿來說Llama云云之類的。 然後第二個問題關於學習算法問題可解釋的研究當前最多就是只有研究到GPT-2到GPT-3從 一些線索來推估GPT-4甚至整體LLM的可解釋問題，我覺得用這篇論文來說明沒什麼問題， 而且隨著模型更複雜反而會更難解釋模型到底學到了什麼的問題，所以當前的研究包含Op enAI他們自己的研究都不會考慮拿最複雜的研究而是從比較好下手實驗的模型來推估隨著 參數增加模型的變化並且預測到GPT-4也會有相應的可解釋性。 主要是我想表述的有點多又比較雜，造成誤會就先說抱歉。 這邊附註一下，我這邊其實是想說明的是我為什麼覺得當前模型很難完全取代資工人，從 訓練來看降低工程複雜度是還有辦法提升的，這需要有資工背景，而從可解釋性來看，當 前算法很難有一個我們訓練好就可以解決全部問題的模型，所以最終還是需要搭配各種系 統包含顯式Coding來解決模型不足。 ※ 編輯: sxy67230 (49.216.132.111 臺灣), 06/04/2023 16:23:54 ※ 編輯: sxy67230 (49.216.132.111 臺灣), 06/04/2023 16:44:02