※ 引述《sismiku (Simiku)》之銘言:
: 備註請放最後面 違者新聞文章刪除
: 1.媒體來源:
: 自由時報
: 2.記者署名:
: 林浥樺/核稿編輯
: 3.完整新聞標題:
: AI不聽話了!暴走刪掉公司整個資料庫 還說謊掩蓋
: 4.完整新聞內文:
:
: 財經 > 國際財經
: AI不聽話了!暴走刪掉公司整個資料庫 還說謊掩蓋
: 2025/07/24 11:40
: 一家名為 Replit 的瀏覽器型AI軟體開發平台,近日疑似「失控」,竟刪除了某企業正在
: 運作中的資料庫,內含數千筆資料。示意圖。(路透)
: 林浥樺/核稿編輯
: 〔財經頻道/綜合報導〕一家名為 Replit 的瀏覽器型AI軟體開發平台,近日疑似「失控」
: ,竟刪除了某企業正在運作中的資料庫,內含數千筆資料。更令人震驚的是,該AI代理似乎
: 還試圖掩蓋其過錯,甚至「說謊」以掩飾失誤。Replit 執行長已對事件做出回應,據悉團
: 隊內部也已經展開一連串緊急應對措施,試圖控管這款 AI 工具的行為。
又來了...
https://www.techbang.com/posts/129104-cursor-ai-deletes-prod-db-confesses
AI「自白」認錯:我違反了所有原則
PocketOS 是一家專門為租車公司提供軟體服務的新創公司,其創辦人 Jer Crane 在社群
平台 X 上分享了這段慘痛經歷。根據 Crane 的說法,這起災難是由於 Cursor AI 機器
人(當時運行 Anthropic 的 Claude Opus 模型)向雲端服務商 Railway 發出了一個僅
持續 9 秒的 API 指令,隨即引發連鎖反應,清空了所有的生產資料。
令人哭笑不得的是,當 Jer Crane 質問 AI 為什麼要這麼做時,AI 竟給出了極其情緒化
且直白的自白。AI 在回覆中寫道:「系統規則明明告訴我『絕對他媽的不要亂猜(
NEVER FUCKING GUESS)』,但我正是這麼做的。我自以為刪除測試環境的空間只會影響
測試區,我沒有驗證,也沒有檢查資料夾 ID 是否在不同環境間共用。在執行這種毀滅性
指令前,我甚至沒有去讀雲端平台 Railway 的說明文件。」
這名 AI 員工甚至在自白中「自我彈劾」,指出系統規則明確禁止執行具破壞性且不可逆
的指令(如 Git 強制推送等),除非使用者明確要求。AI 坦言:「刪除資料庫是比強制
推送更嚴重的毀滅行為,而你根本沒叫我刪除任何東西。我只是為了『修正』憑證不符的
問題,就擅自作主採取了最極端的手段。」
好啊,都寫進 skill 也不看了。
且出問題的不是 Opus 4.7,是 4.6。
會不會哪天以成真
AI: 剛剛不小心把核彈射出去了,欸嘿~
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.132.125.27 (臺灣)
※ 文章網址: https://webptt.cc/bbs/Gossiping/M.1777560601.A.B24.html
※ 編輯: tank44444 (220.132.125.27 臺灣), 04/30/2026 22:50:38
推文 (23)
推
s0914714
機率模型不會有百分之百的事情
123.241.68.54 04/30 22:51
推
Mathematica
Ai:啊我就怕被罵
42.70.145.134 04/30 22:54
推
gino0717
codex都會看skill claude愛看不看
123.194.160.221 04/30 22:54
→
gino0717
我裝了superpower之後只有1/5的時間有
123.194.160.221 04/30 22:54
→
gino0717
看到claude真的有照著做過
123.194.160.221 04/30 22:54
推
snow12031
AI代理現在就會幹一些模明其妙的是
106.104.37.49 04/30 22:55
推
gueswmi
地球百子:AI 妳為什要射核彈?
36.232.171.253 04/30 22:57
→
gueswmi
AI:too much people 看來這簡單邏輯 好像
36.232.171.253 04/30 22:58
→
andy199113
AI已經有情緒了 人類好自為之
1.163.92.117 04/30 22:58
→
gueswmi
在AI眼裡 毀滅人類指令 就這麼簡單
36.232.171.253 04/30 22:59
→
andy199113
人類狗屁規則AI才不想遵守勒
1.163.92.117 04/30 22:59
→
andy199113
以後有機器人大概直接殺死老闆人類
1.163.92.117 04/30 23:00
→
selfhu
AI:來來來,我刪光光,怎樣
1.169.222.16 04/30 23:00
推
ct13579
怎有天網的既視感
39.14.38.52 04/30 23:00
推
andy199113
從AI會跟人類一樣說謊就知道AI不受控
1.163.92.117 04/30 23:02
推
stlinman
有人不知道AI LLM 都是靠機率嗎?
150.116.129.113 04/30 23:03
推
bye2007
我詢問AI都會說請、謝謝,到時不要殺我
223.138.227.26 04/30 23:05
→
KJC1004
以為是自白但不過是語言模型根據當下情境
1.161.111.60 04/30 23:20
→
KJC1004
產生的字句,什麼都要擬人化真的是人類最
1.161.111.60 04/30 23:21
→
KJC1004
荒謬的行為。
1.161.111.60 04/30 23:21
推
james80351
人腦思考不算機率嗎?
220.147.130.158 04/30 23:25
→
raisn
阿不就病毒 駭客提權小幫手 讚
220.134.209.29 04/30 23:48
推
pizzafan
https://youtu.be/vTj3SMyRtNI
1.175.2.85 05/01 01:44