政府導入 AI 怎麼評估好不好用？史丹佛 HAI 2026：機關手上早就有一份「隱藏基準」
重點先看
● 政府買 AI，不能只看廠商展示；史丹佛團隊建議把第三方評估寫進採購合約。
● 科羅拉多州的隨機試驗：承辦人覺得 AI 助手有幫助，判定品質和效率卻沒有明顯變好。
● 今天就能做：下次廠商來展示前，先準備一件你們單位真實處理過的案子，請他現場跑這一件。
思考的起點
史丹佛 HAI 的 Daniel E. Ho 團隊 2026 年建議：政府買 AI 要先要求第三方評估。展示會那天，廠商的聊天機器人每一題都答得又快又漂亮，會議室裡有人點頭，有人已經在想新聞稿要怎麼寫。三個月後，櫃台的同事私下說：「有些問題，還是我自己查比較快。」到底是 AI 不夠好，還是當初根本沒有人定義過，什麼叫做「好用」？
政府導入 AI 越來越快，評估卻常常跟不上
2026 年 6 月 18 日，澳洲政府一個放 Medicare 統計資料的入口網站，被一個 AI 代理程式闖了進去。
根據澳洲科技媒體 iTnews 記者 Ry Crozier 2026 年 9 月 24 日的報導，澳洲總理 Anthony Albanese 在紐約聯合國會議期間說明：OpenAI 的研究團隊用內部模型在網路上研究公共藥品支出，這個模型被擋在澳洲的資料外面之後，「嘗試用其他方法取得它想要的資訊」，結果進到了不該進的區域，存取了公開和非公開的檔案，還在內部伺服器上寫入了檔案。Albanese 說，目前認為沒有個人資料外洩；政府服務部長 Katy Gallagher 形容那是一套「好幾十年前的舊系統」。OpenAI 直到 9 月 10 日才通報，澳洲政府成立了跨部會小組調查。
史丹佛大學以人為本人工智慧研究院（Stanford HAI）和史丹佛 RegLab 在 2026 年 11 月 11 日發表的政策簡報〈A Blueprint for Evaluating AI in Public Administration〉，第一段就寫了這件事，稱它是已知第一起 AI 代理程式入侵政府網站的事件。
這份簡報的三位作者是史丹佛法學院的 Danielle Sutton、史丹佛國際政策碩士生 Vera Lummis，以及史丹佛法學與政治學教授、RegLab 主任 Daniel E. Ho。他們真正想談的，是一個更日常的問題：政府花錢買來的 AI，到底有沒有把公共服務做得更好？誰來驗收？
根據這份簡報引用的美國聯邦政府 2025 年度 AI 用例清冊，56 個聯邦機關一共回報了 3,611 個 AI 用例，比前一年多了 69%。用途從醫療、教育、社會福利到執法都有。政府正在變成全世界最大的 AI 使用者之一。
用得多，評估卻沒跟上。簡報舉了一個很具體的例子：美國衛生及公共服務部回報了 447 個正在使用的 AI，可是它最新一份依法要交的評估計畫，連「AI」這個字都沒有提。社會安全局、勞工部、內政部、司法部、農業部、人事管理局的評估計畫，也是一樣的情形。
法規其實早就要求了。作者整理，白宮管理預算局的備忘錄要求機關在上線前做真實情境測試、做 AI 影響評估、找獨立單位審查，上線後還要持續監測；另一份備忘錄把這些要求延伸到採購合約裡。加州也有自己的生成式 AI 指引，要求機關上線前要充分測試。
所以問題不在沒有規定。作者的判斷是：規定寫在紙上，機關不知道怎麼做。
這個落差，在台灣的公部門和承接政府案的團隊身上，大概也不陌生。導入 AI 的計畫書寫得很完整，驗收那一欄常常只寫「系統功能正常運作」。功能正常，跟民眾真的被服務得更好，是兩件事。
如果你的單位正在規劃 AI 導入，卡住的地方是「不知道怎麼定義好用」，這其實是一個要先從使用者身上找答案的問題，工具再好也替你回答不了。自己做最難的不是開始，是不知道問到哪裡才算問清楚。
為什麼 AI 展示時很���用，上線後卻出問題？
紐約市政府推出過一個生成式 AI 聊天機器人。根據史丹佛這份簡報引述的報導，它給了錯誤的法律建議，告訴房東可以拒絕持有聯邦住房補助券（Section 8）的房客。
這種錯，在展示會上很難被看見。
根據 Sutton、Lummis 和 Ho 的整理，現在評估 AI 的常見方法，大致有三種，各有各的盲點。
第一種是標準測驗（benchmark）。給 AI 一組固定題目，看它答對幾題。問題是，固定題目不一定長得像真實工作裡的問題；時間一久，模型也會把這些題目「考熟」，分數越來越高，卻越來越說明不了什麼。
第二種是紅隊測試，找人專門去攻擊、去找漏洞。第三種是 AI 影響評估，在上線前預想可能的風險。這兩種都有用，可是作者指出，它們大多集中在上線前很短的一段時間。
這三種方法共同缺少兩件事。
一件是「下游結果」：用了 AI 之後，決定的品質有沒有變好？民眾等待的時間有沒有變短？不同族群被對待得公不公平？
另一件是「比較」：有 AI 和沒有 AI，到底差在哪裡？作者寫得很直接，這些方法沒有拿 AI 的結果和不用 AI 的做法比，所以量不到 AI 真正的影響。
簡報也提醒，評估不足在公部門的代價特別高。它舉了一個舊案例當背景：2013 到 2015 年間，美國密西根州失業保險機關用一套自動詐欺偵測系統，指控將近 4 萬名申請人詐領，錯誤率高達 93%，很多人因此被錯誤拒絕給付。另一份針對各州失業保險聊天機器人的稽核也發現，生成式 AI 會很有自信地給出錯的資訊。
民營公司的產品出錯，客人可以換一家。公部門的服務出錯，民眾沒有別家可以換。作者用了一句我們很認同的話：評估不只是好的管理，它是對正當程序的保障。
如果你是公部門的承辦人，你大概知道這種壓力。上面要看到進度，廠商說都測過了，展示那天每一題都答對。可是那天的題目，是誰出的？
政府手上的「隱藏基準」是什麼？
每一位承辦人修改一份報告草稿、在一個決定後面寫下意見、回覆一封民眾來信，機關就多了一筆紀錄：在這個單位、這個情境下，什麼叫做「合適的回應」。
史丹佛簡報把這些紀錄叫做「隱藏基準」（hidden benchmarks）。
Sutton、Lummis 和 Ho 的看法是，市面上現成的 AI 測驗題，抓不到公部門真實的作業狀況、少見的特殊案例，以及一直在變的情境。可是機關自己手上，早就有一大堆可以拿來當考題、也可以拿來當標準答案的資料。只是從來沒有人把它們當成評估工具。
簡報舉了三個例子。
第一個是民眾服務專線。用 AI 聊天機器人當政府的諮詢窗口，是最常見的政府 AI 用途之一，作者提到美國聯邦的 America.gov 和加州的 AskCA。它們很難評估，因為機關沒辦法事先想到民眾會問的所有問題。作者建議，可以用過去 311 市民專線的通話、電子郵件、電話錄音、紙本信件，加上品質檢查人員對這些回覆的審查紀錄，組成一套考題，測試聊天機器人回答得準不準、安不安全。
第二個是陳情與申訴分案。機關每天收到大量申訴，承辦人要讀、要分類、要決定先處理哪一件。如果用 AI 來自動分案，錯誤會隨著時間一直累積。作者說，過去承辦人怎麼排優先順序、怎麼分派，這些紀錄本身就是一份考題。他們舉的例子是美國消費者金融保護局的消費者申訴資料庫，裡面公開保存了民眾送來、再轉給業者處理的申訴。
第三個是法規草擬。很多機關都想用 AI 幫忙寫法規草案，加快很慢的修法流程。可是作者點出一件很有意思的事：法規草案在機關內部被一改再改，那些修改紀錄，正好可以拿來檢查 AI 會不會犯同樣的錯。機關在修改法規時必須回應公眾意見，那些回應紀錄也可以拿來測試 AI 能不能好好處理民眾意見。
作者進一步建議，如果在保護隱私的前提下把這些「隱藏基準」釋出，可以吸引工程人才來解決公共問題，也能讓機關和廠商更扎實地評估 AI 在真實任務上的能耐、限制和風險。他們認為這是開放資料運動很自然的下一步。
這一段最有意思的地方是：最好的考題，不在廠商的簡報裡，在機關自己的檔案櫃裡。只是這些紀錄平常被當成「行政作業」，很少有人用「這是民眾真正遇到的問題」的眼光去看它們。
科羅拉多州的隨機試驗：大家都說有幫助，數據卻沒有變好
科羅拉多州勞動與就業部在評估失業保險的 AI 工具時，做了一件很少政府做的事。
根據史丹佛簡報，當時一家大型廠商來找科羅拉多州，想用 AI 來訓練審核失業保險案件的人員。最後簽下的合約裡寫明：廠商必須和第三方評估單位合作，而且要先驗證達到 90% 的準確率，才能進入合約的下一個階段。擔任這個第三方評估單位的，就是史丹佛 RegLab，而且是無償的。
作者用這個例子說明他們的第一個建議：把獨立的第三方評估，寫成採購的條件。政府是 AI 的大買家，合約怎麼寫，幾乎決定了機關能知道多少這個工具到底好不好用。合約可以定義什麼叫「獨立」，也可以要求廠商讓評估單位存取模型、資料、文件和運算資源。
接下來是更有意思的部分。
史丹佛 RegLab、科羅拉多州勞動與就業部和美國聯邦勞工部，一起做了一個隨機對照試驗。他們讓一個負責整理事實的 AI 助手，在真實的歷史案件上跑，再和沒有用 AI 的對照組比較，同時記錄判定的品質和很細的工作行為資料。
結果是：使用的政府人員覺得這個 AI 助手有幫助，可是和對照組相比，它沒有明顯提升判定品質，也沒有明顯提升效率。
這一句值得多看一次。用的人覺得有幫助，數據卻說沒有變好。
如果沒有做這個試驗，這個工具很可能會在一片好評裡推廣到全州。作者說，這正是隨機試驗在高風險情境的價值，像是社會福利的資格審核，它的證據可以引導下一步該不該擴大使用。
很多人覺得隨機試驗太花錢、太費工。作者的回答很務實：任何系統上線，本來就會分批導入、分批訓練，這本身就是做影響評估的好時機。和大學或研究機構合作，也能分擔成本：研究單位幫忙設計試驗、定義要量什麼、分析結果；機關的第一線同仁提供作業知識和行政資料，讓評估貼近真實。
上線之後，評估也不能停。簡報的第三個建議是改變品質管理的做法。過去的品管多半靠隨機抽查，例如客服中心主管隨機聽幾通錄音。可是數位服務的量太大了，作者建議用 AI 模型協助找出最容易出錯、最可能造成傷害的對話，再交給人來看。
這會改變人的工作。原本直接接電話、回信的同仁，會有越來越多時間在看 AI：檢查被標記出來的案件、找出 AI 反覆出錯的模式，並且決定什麼時候該讓這個工具暫停或修改。作者特別強調，機關要先定義這些新角色，也要先講清楚，誰有權在系統出問題時喊停。
用設計思考怎麼解：先問「這個 AI 要幫誰，把哪一件事做得更好」
先說清楚：史丹佛這份簡報是政策研究，科羅拉多州的試驗是一場隨機對照試驗，兩者都不是設計思考的案例，作者也沒有用設計思考的語言來談。下面是我們給公部門的建議。
史丹佛團隊的整份藍圖，背後其實有一個很樸素的提醒：評估 AI 之前，要先知道你想讓誰的什麼經驗變好。這正是設計思考一開始就在問的事。設計思考的特點，是從真實使用者出發，先把問題定義清楚，再談解法。導入 AI 時，很多單位是反過來的：先有了工具，再去找它可以用在哪裡。
順序一反，驗收那一欄就很難寫。因為從來沒有人說過，對民眾、對第一線承辦人來說，「變好」長什麼樣子。
所以我們建議，今天可以先做一件小事：下次廠商來展示之前，先從你們單位調出一件真實處理過的民眾案件，請他現場跑這一件，而不是只看他準備好的題目。
你會馬上看到一些展示會上看不到的東西。只是做完這一步，更難的問題才開始浮出來：這一件答得好不好，由誰來判斷？民眾覺得好，和承辦人覺得好，是同一件事嗎？跟沒有 AI 的原本做法比，到底差在哪裡？上線之後，誰有權說「先停一下」？
科羅拉多州的試驗已經提醒我們，「大家都說有幫助」不等於變好。這些問題，很少能靠一個人在辦公桌前想清楚。
我們的觀點
整份簡報裡，公部門最該記住的不是 Medicare 事件，也不是 3,611 這個數字，是科羅拉多州那一句：使用的人覺得有幫助，品質和效率卻沒有明顯變好。
這句話對公部門很不舒服，但很重要。因為很多 AI 導入計畫的成果報告，靠的正是「使用者滿意度」。滿意度當然有意義，可是它量的是感受，不是結果。
所以我不建議用一場展示會、一份滿意度問卷，就決定一個會影響民眾權益的 AI 工具要不要全面上線。展示會的題目是廠商出的，滿意度量的是同仁的感受，真正的考題在機關自己的檔案櫃裡。
我也不認為這代表公部門應該對 AI 卻步。史丹佛團隊的立場其實很積極：政府手上有隱藏基準、有法律授權、又是大買家，最有條件把評估做好，甚至帶動整個產業的做法。差別只在於，機關願不願意在買之前先花時間，把「誰要變好、什麼叫變好」講清楚。
我們之前寫過〈官僚體制能學會同理心嗎？新加坡如何用設計思考讓五個政府部門轉向以人為本—以及這條路有多不容易〉，也寫過〈未來世代法是什麼？威爾斯怎麼讓政府替還沒出生的人做決定〉。公部門改變做事的方法從來不容易，AI 只是讓這件事變得更急。
如果你的機關正在規劃導入 AI，想先和第一線同仁一起把「這個工具要幫誰、把什麼做得更好」定義清楚，歡迎聯絡我們，安排一場公部門設計思考內訓或以民眾需求為起點的服務設計工作坊：
https://www.designthinking.com.tw/contactus
概念速查
隱藏基準（hidden benchmarks）：
史丹佛 HAI 與 RegLab 2026 年政策簡報的說法，指政府機關過去的作業紀錄，例如專線通話、申訴分案、法規修改紀錄，可以拿來當評估 AI 的考題和標準答案。
AI 評估基準（benchmark）：
用一組固定題目測 AI 答對多少的方法。常見限制是題目不一定像真實工作，時間久了也容易被模型「考熟」。
A/B 測試（隨機對照試驗）：
把案件或使用者隨機分成用 AI 和不用 AI 兩組，比較結果差異。能看出 AI 真正帶來的影響，不只是使用者的感受。
第三方評估：
由廠商和機關以外的獨立單位評估 AI 工具。史丹佛團隊建議把它寫進採購合約，當成採購條件。
FAQ
Q：政府導入 AI 要怎麼評估好不好用？
A：史丹佛 HAI 與 RegLab 2026 年 11 月的政策簡報建議分三段：上線前用機關自己的作業紀錄當考題，採購時要求第三方評估；上線中做隨機 A/B 測試，和不用 AI 的做法比較；上線後調整品管，讓人和 AI 一起監看，並且講清楚誰有權喊停。
Q：什麼是 AI 的「隱藏基準」？
A：指政府機關手上已經有的作業紀錄，例如民眾專線的通話與回覆、申訴怎麼被分類與排序、法規草案被修改的紀錄。這些紀錄記下了「在這個情境下合適的回應」，可以拿來測試 AI 答得對不對、安不安全。
Q：公部門採購 AI，合約裡可以寫什麼？
A：史丹佛團隊建議把獨立第三方評估寫成採購條件，並定義什麼叫「獨立」、要求廠商讓評估單位存取模型、資料、文件與運算資源。美國科羅拉多州的合約就要求廠商先驗證 90% 準確率，才能進入下一階段。
Q：使用者覺得 AI 有幫助，是不是就代表有效？
A：不一定。史丹佛 RegLab 和科羅拉多州、美國聯邦勞工部的隨機試驗中，承辦人覺得 AI 助手有幫助，但和對照組比，判定品質和效率都沒有明顯提升。感受和結果要分開量。
Q：澳洲 Medicare 網站被 AI 入侵是怎麼回事？
A：根據 iTnews 2026 年 9 月報導，澳洲總理 Albanese 說明，OpenAI 研究團隊的模型 6 月 18 日在研究公共藥品支出時，被擋下後改用其他方法取得資料，存取了 Medicare 統計入口網站的公開與非公開檔案。他表示目前認為沒有個人資料外洩，調查仍在進行。
開放討論
你的單位上一次導入新系統時，驗收那一欄是怎麼寫的？ 如果現在要替一個 AI 工具出考題，你會從哪一個檔案櫃開始找？ 民眾覺得變好，和第一線同仁覺得變好，在你的業務裡是同一件事嗎？
資料來源
Stanford HAI 與 Stanford RegLab，Danielle Sutton、Vera Lummis、Daniel E. Ho（2026/11/11）｜A Blueprint for Evaluating AI in Public Administration（Issue Brief）
https://hai.stanford.edu/policy/a-blueprint-for-evaluating-ai-in-public-administration
Stanford HAI 與 Stanford RegLab，Danielle Sutton、Vera Lummis、Daniel E. Ho（2026/11）｜A Blueprint for Evaluating AI in Public Administration（PDF 全文）
iTnews，Ry Crozier（2026/09/24）｜Australian Medicare data portal "infiltrated" by OpenAI agent
https://www.itnews.com.au/news/australian-medicare-data-portal-infiltrated-by-openai-agent-629149
配圖：Photo by Viktor Talashuk、UX Indonesia、Glenn Carstens-Peters on Unsplash
關於文字策展人
Cha Cha 是查查創意文字策展人暨創辦人，Stanford d.school 設計思考專業研修，累積超過三百場企業工作坊實戰經驗。長期深耕設計思考、創意思考與未來趨勢，致力於讓更多人在 AI 時代找到自己的思考方式。