數發部首度釋出主權AI語料庫 貼近台灣文化與語言
公視
陳佳鑫 陳泓屹 / 綜合報導
AI浪潮下台灣面臨主權AI挑戰,因為華文語料多以簡體為主,為了讓AI模型的訓練更貼近台
灣的語言和文化,數位發展部今(24)日首度發布台灣主權AI訓練語料庫,目前已有超過20
0個政府機關投入,上架2000多筆的資料集,希望透過主動釋出的作法,方便AI模型訓練學
習,建立台灣文化在AI時代的話語權。
進入數位發展部剛發布的台灣主權AI訓練語料庫,申請後取得使用資格,如果搜尋「土豆」
一詞,會發現教育部的辭典,呈現「土豆」在台灣是指「花生」,可是在中國卻代表的是「
馬鈴薯」,差別很大。
不過,國際的AI模型訓練上,因為華文語料多以簡體為主,AI學習後會把「土豆」就解釋成
「馬鈴薯」,為了避免這種情況的不斷發生,數位發展部24日發布台灣主權AI訓練語料庫,
強調目前已有超過200個政府機關投入,上架2000多筆的資料集。
數發部資料創新司長莊明芬表示,「這些資料涵蓋了我們文化藝術語言、教育醫療地理交通
等等,都是一些高品質的一個資料。」
像是文化部的國家文化記憶庫,提供台灣的族群文化、宗教民俗等資料,具有台灣獨特的文
化風貌。教育部提供的語言辭典,涵蓋台語、客語等,強化AI模型,對台灣用詞的精準度。
文化部綜合規劃司魏秋宜說道,「主動積極的盤點跟提供資料,協助主權AI進行訓練,提升
主權AI在台灣文化的這個銓釋能力。」
學者分析,政府積極開放台灣主權AI的訓練語料庫,除了在網路華文世界爭取繁體中文的主
權,也是基礎建設的建構、語言主權的掌控,以及台灣文化價值的散播。
淡江大學資工系兼任助理教授/台灣數位理協會常務理事張榮貴指出,「你沒做,那更抓不
到, 那應該是說,我們把它整理,有計畫的釋出的話,那對於這些做模型的公司,如果知
道這些訊息,那可能就會來拿去引用。」
數發部次長侯宜秀認為,「希望我們孩子們用的AI,是像台灣、像我們講話方式的AI,是分
享我們價值的AI。」
數發部強調,語料庫透過合法授權,提供給AI模型訓練的工程師運用,這些給AI的教材,幫
助AI模型更容易了解台灣,也學會更貼近台灣社會的語言表達能力,也希望公私協力提供資
料,豐富語料庫。
許勝婕/編輯
#數位發展部
#馬鈴薯
#釋出
#土豆
https://news.pts.org.tw/article/787448
備註
讚讚讚
建議教ai
柯文哲 改 菜花柯
黃國昌 改 美國昌
小草 改 小菜花
八卦一大堆小菜花在喊
什麼習大大大
什麼賴總統是萊爾校長
別讓小菜花造謠傷害台灣民主
3個字
噁心
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.138.233.159 (臺灣)
※ 文章網址: https://webptt.cc/bbs/HatePolitics/M.1766716543.A.65F.html
推文 (19)
→
abusgun
數位支語警察
42.72.22.105 12/26 10:37
推
Ithilloth
太好了消滅支語
36.230.58.121 12/26 10:40
噓
ivorysoap
又在浪費錢了
49.217.200.16 12/26 10:47
推
GAOTT
太好了是數發部 台灣有救了
118.170.207.29 12/26 10:59
推
Supasizeit
2000筆XDDDDD
111.71.22.158 12/26 11:49
推
jobli
不會是抄...
111.185.38.16 12/26 11:57
→
jobli
TAIDE團隊以開源國際預訓練模型為基底
111.185.38.16 12/26 11:57
推
KoenigseggG
有人看不懂資料集耶XDD
101.8.136.253 12/26 12:08
推
Supasizeit
你知道open data 的資料集定義是什麼
111.71.35.137 12/26 12:40
→
Supasizeit
嗎
111.71.35.137 12/26 12:40
推
jobli
中研院資訊科學研究所副研究員黃瀚萱說明
101.10.58.251 12/26 13:24
→
jobli
,TAIDE團隊以開源國際預訓練模型為基底,
101.10.58.251 12/26 13:24
→
jobli
運用大量台灣在地語料訓練,將國際模型轉
101.10.58.251 12/26 13:24
→
jobli
化為台灣在地化模型。TAIDE已陸續釋出七顆
101.10.58.251 12/26 13:24
→
jobli
開源模型。最新模型含460億token的繁體中
101.10.58.251 12/26 13:24
→
jobli
文訓練資料,容量240G,資料源自公部門與
101.10.58.251 12/26 13:24
→
jobli
新聞等授權資料。
101.10.58.251 12/26 13:24
→
jobli
原來不是這個的延伸哦
101.10.58.251 12/26 13:24
推
lulumic
cheatTaiwan ?
39.9.158.10 12/26 14:01