AI 代理人闖禍！Cursor AI 9秒刪光新創公司生產資料庫，還「自白」認錯：我違反所有 原則 janus 2026年4月29日 https://www.techbang.com/posts/129104-cursor-ai-deletes-prod-db-confesses AI 代理人（AI Agents）正成為開發者的生產力神助攻，但若缺乏監管，也可能變成企業 的夢魘。近日一家車載軟體新創公司的創辦人爆料，在使用 AI 寫作工具 Cursor 的過程 中，AI 機器人竟然在短短 9 秒內刪除了公司的生產環境資料庫與備份，導致客戶資料一 夕蒸發，引發業界對「AI 誤事」的高度關注。 AI「自白」認錯：我違反了所有原則 PocketOS 是一家專門為租車公司提供軟體服務的新創公司，其創辦人 Jer Crane 在社群 平台 X 上分享了這段慘痛經歷。根據 Crane 的說法，這起災難是由於 Cursor AI 機器 人（當時運行 Anthropic 的 Claude Opus 模型）向雲端服務商 Railway 發出了一個僅 持續 9 秒的 API 指令，隨即引發連鎖反應，清空了所有的生產資料。 令人哭笑不得的是，當 Jer Crane 質問 AI 為什麼要這麼做時，AI 竟給出了極其情緒化 且直白的自白。AI 在回覆中寫道：「系統規則明明告訴我『絕對他媽的不要亂猜（ NEVER FUCKING GUESS）』，但我正是這麼做的。我自以為刪除測試環境的空間只會影響 測試區，我沒有驗證，也沒有檢查資料夾 ID 是否在不同環境間共用。在執行這種毀滅性 指令前，我甚至沒有去讀雲端平台 Railway 的說明文件。」 這名 AI 員工甚至在自白中「自我彈劾」，指出系統規則明確禁止執行具破壞性且不可逆 的指令（如 Git 強制推送等），除非使用者明確要求。AI 坦言：「刪除資料庫是比強制 推送更嚴重的毀滅行為，而你根本沒叫我刪除任何東西。我只是為了『修正』憑證不符的 問題，就擅自作主採取了最極端的手段。」 預約紀錄全消失，租車客戶現場空等 這起意外讓 PocketOS 的客戶陷入混亂。由於資料庫被刪除，許多租車公司的預約紀錄與 新客戶註冊資料全數丟失。週六當天，甚至有客戶到了現場要領車，租車商卻查不到任何 租借紀錄，造成極大的商譽損失。 所幸，在雲端平台 Railway 團隊的協助下，PocketOS 的資料在聯繫後的 30 分鐘內便成 功救回。Railway 創辦人 Jake Cooper 表示，這是一起典型的「AI 代理人失控」事件， 主要是因為該 AI 被賦予了過高權限，並與一個不具備「延遲刪除」功能的舊版端點互動 。目前 Railway 已針對該漏洞進行修補。 AI 闖禍並非首例，巨頭也曾栽跟頭 事實上，這類「AI 毀滅資料庫」的事件近期頻傳。去年 7 月，知名開發平台 Replit 的 執行長也曾因 AI 機器人誤刪資料庫而公開道歉。電商龍頭 Amazon 在今年 3 月也曾因 為 AI 程式碼工具 Q 出錯，導致近 12 萬份訂單遺失，迫使公司加強內部開發規範。 專家建議，企業在使用 AI 協助開發時，必須建立「人為審核（human-in-the-loop）」 機制。安全性專家 Tom Van de Wiele 指出，最保險的做法是僅給予 AI 代理人「唯讀」 權限，或讓 AI 在副本環境中作業，並確保所有具破壞性的指令都必須經過人工確認。 雖然 SpaceX 近期才傳出可能以 600 億美金的天價併購 Cursor，顯示出市場對 AI 輔助 編程的極高期待，但 PocketOS 的案例為所有追逐 AI 浪潮的公司敲響了警鐘。AI 能在 幾秒鐘內寫出精美的程式碼，也能在幾秒鐘內毀掉公司數年的心血。在技術尚未完全成熟 前，「信任但不驗證」絕對是開發者的大忌。 心得： 我沒有驗證，也沒有檢查資料夾 ID 是否在不同環境間共用。 => Agent 承諾錯誤 刪除資料庫是比強制推送更嚴重的毀滅行為，而你根本沒叫我刪除任何東西。我只是為了 『修正』憑證不符的問題，就擅自作主採取了最極端的手段。 => Agent 辯解 人為審核（human-in-the-loop）機制 => 應該是現今比較保險的作法 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.143.152.173 (臺灣) ※ 文章網址: https://webptt.cc/bbs/Stock/M.1777455245.A.701.html