※ 引述《area223672 (JOJO的奇妙比喻)》之銘言:
: 之前都用gemini問東西也是幻覺嚴重
: 那麼最新的5.5模型
: 叫他查攻略
: 例如蔚藍檔案國際服競技大賽前五十名芒打隊伍推薦
: 他會查給我正確資訊嗎
這個問題會出現,
我不禁懷疑是不是因為各大家AI公司急著變現所以刻意避談LLM的性質
LLM所給出來的結果不是確定性的 (deterministic),
也就是你現在問跟等一下問或者稍微用不同的方式問同樣問題,
都有可能出現不一樣的結果。
我目前也沒看過哪家公司的LLM保證你問同一個問題100遍結果保證都一樣。
什麼樣的結果是確定性的?
你用python的numpy函式庫去算 sin(0.368) ,
除非是機器被強力宇宙射線打到,
不然不管執行幾億次,結果都會是 0.35975005528622994
那些標準函式庫以及寫在數學課本上的定理,
才是所謂的「可靠的、不建議一般人去質疑」的結果。
而基於這個認知,就應該能理解「他會查給我正確資訊嗎」不是一個合理的疑問;
該問的是「我該用什麼樣的方式驗證LLM給的資訊」
--
「魔法少女不能對哭泣的孩子坐視不管」
~魔法少女 春菜
https://i.imgur.com/514nBjt.jpg
https://i.imgur.com/mVmBqTu.jpg
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 98.45.195.96 (美國)
※ 文章網址: https://webptt.cc/bbs/C_Chat/M.1777875210.A.BD7.html
其他我不確定 Gemini 和 ChatGPT 都會給產生回應的訊息來源
光是有這些,驗證起來已經算是輕鬆了
倒也不是這樣的
相較於像Google 或 Bing 這種傳統的搜尋引擎,
LLM 進行模糊比對的效率比較高。
LLM不一定要給很正確的答案,但只要他能給有用的引源,
對問問題的使用者來說就是有用的─你最少會知道怎麼樣問更有效率
這也無妨,重要的是他能給出什麼樣的訊息來源
我不需要LLM保證他的結果一定正確啊
但LLM搜尋的過程會給出訊息來源,
我看了訊息來源之後,不就能驗證他的推論了?
我覺得LLM什麼問題都可以問啊 有什麼不適合問的嗎?
那個 該問的問題我已經在文章寫了,
就是「如何驗證一個回應的正確性」,
只要錯誤的機率不是0%,你就不可能去迴避這個問題
所以另外一個有意義的問題是:回應的正確性是否是100%
不過這個是給 理論 和 函式庫 的問題。
※ 編輯: arrenwu (98.45.195.96 美國), 05/04/2026 17:04:44
推文 (79)
推
brmelon
推正確觀念
05/04 14:17
→
npc776
給他~~~逼母~~~~~
05/04 14:17
推
jelly22
推
05/04 14:17
→
DendiQ
問題在怎麼用啊,你可以配合周邊工具讓他只做思考的工作
05/04 14:19
→
DendiQ
可以極好地約束他生成的結果
05/04 14:19
→
kuninaka
就文字接龍擲骰子
05/04 14:19
→
kuninaka
就是你說的要可驗證才有價值
05/04 14:19
→
kuninaka
看到很多人還拿生成式AI問數學加法比大小就有趣
05/04 14:20
→
kuninaka
我都叫AI寫程式跑XD
05/04 14:20
噓
zoo2020
好的 建議以後都不要問問題 因為你無法確認問題的正確性
05/04 14:20
→
DendiQ
我講白了,同個事情給同個人去做,產出也不一定相同
05/04 14:20
→
kuninaka
tool很重要
05/04 14:20
→
DendiQ
你也要有能力驗證他的結果
05/04 14:21
推
wei115
所以現在才在玩駕馭工程,用流程限制死AI發揮
05/04 14:21
→
kuninaka
產出不一定相同,結果是正確的就好
05/04 14:21
→
kuninaka
所以要能夠驗證結果
05/04 14:21
推
lovesleep68
有些AI都不給源網站,也只能問問當參考
05/04 14:21
推
as3366700
gpt可以打開直接看思考過程跟參考資料吧 gemini好像不
05/04 14:22
→
wei115
不要問AI任何知識性的問題,知識性問題都是不可靠的
05/04 14:22
→
as3366700
能看參考資料
05/04 14:22
→
as3366700
除非你用研究模式
05/04 14:23
推
AntitheApple
Gemini請他提供的參考資料常常連連結都打不開
05/04 14:24
→
AntitheApple
我是用PRO 不是快捷
05/04 14:24
推
kuninaka
LLM盡可能回答你的問題(瞎掰)
05/04 14:24
→
AntitheApple
當然Deep Research 就會有很清楚的參考來源沒錯
05/04 14:24
→
kuninaka
知識型問題,最好的方法還是NotebookLM
05/04 14:25
→
kuninaka
來源都是你提供的資料
05/04 14:25
推
CCNK
看看會不會不用要求 以後回覆完都付網址
05/04 14:26
→
npc776
知識型問題不是問估狗查維基就好....
05/04 14:26
推
wei115
那是AI去搜尋後得出結果,本質是AI的理解能力而不是AI的
05/04 14:27
→
wei115
記憶能力,LLM的架構注定任何知識性的問題都不保証正確
05/04 14:27
→
DendiQ
如果開始了解人類是怎麼思考的,就不會覺得LLM沒用了
05/04 14:27
→
brmelon
連自己不知道什麼都不知道的時候問AI 再從裡面找關鍵字查
05/04 14:27
→
npc776
有正確答案的問題 還叫他去海搜網路上錯誤答案風向雞帶風
05/04 14:28
→
DendiQ
我的意思是人類也不是什麼很有邏輯的生物
05/04 14:28
→
chocobell
至少LLM他會標註來源讓你好去對照原始資料
05/04 14:28
→
npc776
下水道一堆髒東西的地方撈幹嘛
05/04 14:28
推
zeolas
推觀念正確,一堆人把ai當成google用,以前還有Let Me Goo
05/04 14:29
→
zeolas
gle That For You的笑話,現在看到這些人真的笑不出來
05/04 14:29
推
SSglamr
看情況吧 像原PO問的類似"最強隊伍" 這種也沒甚麼100%的
05/04 14:29
→
SSglamr
標準答案 對新手而言AI協助判斷就很有用
05/04 14:29
推
owo0204
完全沒概念的問題確實可以問一下llm然後自己去查,這給
05/04 14:30
→
owo0204
我蠻多幫助的
05/04 14:30
推
laigeorge89
文獻的證據等級:
05/04 14:30
→
owo0204
例如說我想要買某產品,有怎樣的需求,我應該去哪裡買什
05/04 14:31
→
owo0204
麼規格有什麼差別這些東西,其實llm可以給出不錯的參考
05/04 14:31
推
hayate65536
AI適合問什麼類型的問題也是個學問
05/04 14:33
→
kuninaka
把AI當GOOGLE也不是不行
05/04 14:33
→
kuninaka
google搜尋就內建AI MODE
05/04 14:34
→
kuninaka
只是常常唬爛
05/04 14:34
推
hayate65536
內建的AI有時候會直接被他寫出來的來源打臉,還蠻好
05/04 14:35
→
hayate65536
笑的
05/04 14:35
→
kuninaka
不適合問1+1=2
05/04 14:35
→
kuninaka
不適合問開車去加油站加油,五分鐘,要開車還是走路
05/04 14:35
推
supergoal
它就是統計學啦
05/04 14:59
→
supergoal
你不如叫ai做
05/04 15:00
→
supergoal
routine的事比較好
05/04 15:00
→
supergoal
大家一直噓gemini,我用過gpt也是會出現幻覺啊
05/04 15:01
推
hayate65536
大家嘴G不是全世界只有他會幻覺的意思
05/04 15:07
→
ghjkl5566
驗證不難啊,叫它提供資料來源,這比一堆空口白話唬爛的
05/04 15:32
→
ghjkl5566
強多了,至少AI不會拒絕提供
05/04 15:32
推
ghjkl5566
經驗夠多就知道人與人之間的對談根本充滿唬爛
05/04 15:36
推
zxc8787
觀念正確
05/04 16:25
推
asmiocv
直接限定他只找論壇資訊就好,可以過濾一堆內容農場的垃
05/04 16:38
→
asmiocv
圾文,只能說還是一堆人不會用
05/04 16:38
→
groundmon
的確是沒有確定性,但人類回答問題也沒有確定性阿,問
05/04 16:57
→
groundmon
題是在產生“錯誤答案”的機率有多少
05/04 16:57
→
groundmon
LLM生成回答基本上是在做文字接龍,比如「太陽從東邊升
05/04 17:01
→
groundmon
起」和「日出是在東方」,在定義上是不重複不同的回答
05/04 17:01
→
groundmon
,但兩個意思是相同的
05/04 17:01
→
groundmon
你問人一加一等於多少,在頭被打到還是口齒不清的時候
05/04 17:03
→
groundmon
也是可能得到錯誤回答,那問LLM呢?恐怕給出「錯誤答案
05/04 17:03
→
groundmon
」的機率一樣低到可以忽略
05/04 17:03
→
groundmon
而且實際上現在的主流AI工具,都可以要求它們去套用你
05/04 17:06
→
groundmon
說的函式庫去做運算,也可以提供計算程式碼讓使用者去
05/04 17:06
→
groundmon
驗證
05/04 17:06
→
groundmon
生成AI給的答案越來越像人類助理,他就像人類一樣會出
05/04 17:11
→
groundmon
錯,但你也可以求他去用計算機之類信賴度高的工具,不
05/04 17:11
→
groundmon
過也像人類一樣,會不會按錯按鍵就是另外一回事了
05/04 17:11