技術分享
用真實業務範例的 Few-shot：穩定 AI 輸出品質
同一段 Prompt 的輸出時好時壞，讓下游流程遲遲不敢交給 AI 自動化——研究證實光是範例的選擇與排序，就能讓準確率從接近亂猜擺盪到接近最佳。本文結合 GPT-3 論文、ICML 與 ACL 的實測數據與 Anthropic 官方準則，說明如何用企業真實範例做 Few-shot：從黃金樣本、數量與排列、動態檢索到回歸驗收，把輸出品質變成可量測的工程問題。
當 Skill 從「能跑」變成「要長期維護」，工程紀律才是關鍵
很多團隊的第一個 OpenClaw Skill 都是這樣誕生的：在對話裡調通一段提示與工具呼叫，測了兩三個案例覺得可用，就直接推上線。問題不在於它跑不動，而在於三個月後沒有人敢改它——不知道改了會不會壞、不知道上一版跟這一版差在哪、也查不出生產環境到底錯在哪裡。這個缺口是有數據的：LangChain 的 State of Agent Engineering 調查（2026 年，1,300 多位受訪者）顯示，89% 的團隊已為 AI Agent 導入可觀測性，但只有 52% 建立了系統性的評測流程，且約三分之一的團隊把「輸出品質」列為 Agent 無法進入生產環境的最大障礙。Gartner 則預估，使用 AI 評測與可觀測性平台的軟體工程團隊，會從 2025 年的 18% 成長到 2028 年的 60%——換句話說，把 AI 資產當軟體來測試與維運，正從少數人的自律變成產業的標配。本文不談如何開發第一個 Skill，而是談當 Skill 進入生產、需要被多人協作與長期維護時，應該補上的工程環節。
測試策略：用多層驗證取代「手動試幾次」
Skill 的輸出帶有隨機性，不能只靠人工在對話框試幾次就宣稱通過。務實的做法是把驗證拆成多層，各自針對不同風險：
| 層級 | 驗證對象 | 能不能自動跑 |
|---|---|---|
| 單元測試 | 工具函式、參數解析、資料格式轉換等確定性邏輯 | 可，且應每次提交都跑 |
| 提示回歸 | 固定一組輸入，比對輸出是否仍符合預期樣態 | 可，用斷言檢查關鍵欄位而非逐字比對 |
| 評測集 | 數十筆代表性案例的通過率，量化整體品質 | 可，設通過率門檻作為發布關卡 |
| 端到端 | 真實工具串接、權限與副作用（如寫入資料） | 部分，副作用需用沙箱或 mock |
測試案例該涵蓋什麼，卡內基美隆大學 2025 年的研究〈What Prompts Don't Say〉（arXiv 2505.13360）給了明確警訊：提示裡沒有明說的需求，模型只有 41.1% 的機率會自行推斷補上，而且這種「剛好猜對」的行為非常脆弱——未明說的需求在模型或提示變更時退步的機率是明說需求的兩倍，準確率跌幅有時超過 20%。這代表評測集不能只測「有寫在提示裡的行為」，更要把那些你默默依賴、卻沒白紙黑字寫下的預期（格式、語氣、不該做的事）通通變成斷言，否則下次改版時退步的正是這些沒人盯著的地方。落到實作上，原則是：確定性的部分（解析、格式、邊界）用一般單元測試釘死；不確定性的部分（自然語言輸出）用斷言檢查結構與關鍵欄位，而非要求逐字相同。舉例來說，一個查詢報表的 Skill，其日期解析與權限判斷屬於確定性邏輯，該用單元測試涵蓋每種邊界；而它產出的摘要文字，則只需斷言「包含金額欄位、格式為表格、未洩漏其他部門資料」等結構性條件。如此在模型或提示微調後，能快速知道退步的是哪一類案例，而不是靠人重讀輸出憑感覺判斷。
版本管理與依賴治理：對抗看不見的漂移
Skill 不是一段孤立的提示，它同時綁定了提示模板、工具定義、模型版本與外部依賴，任何一項變動都可能改變行為。其中最容易被忽略的是模型本身：Stanford 與 UC Berkeley 的研究團隊在 2023 年實測，同樣掛名 GPT-4 的模型，判斷質數的準確率從 3 月版的 84% 掉到 6 月版的 51%——你的程式碼一行沒改，行為卻已經不同。因此實務上建議：
- 釘住模型版本：指定帶日期的模型版本而非「最新」，把「何時升級」變成自己可控的決策，升級前先跑完整評測。
- 語意化版號：Skill 行為相容的調整進 minor，會改變輸出契約的進 major，讓呼叫方能預期風險。
- 一切進版控：Anthropic 的 Agent Skills 設計本身就是把技能定義成可版控、可審計的檔案，提示模板、工具定義與依賴鎖定檔都應該和程式碼放在同一個 repo、走同一套審查流程。
- 變更紀錄：每次發布附上改了什麼、影響哪些評測案例，讓回溯與回滾有依據。
CI 管線：把驗證變成發布的關卡
有了測試與版控，下一步是讓它們自動執行，而不是靠人記得跑。這一層的工具鏈已經成熟：開源的 promptfoo 用宣告式 YAML 定義測試案例，可直接掛進 CI 對每次提交跑回歸與安全掃描（提示注入、資料外洩）；LangSmith 與 Braintrust 則提供資料集管理、版本比較與人工標註。業界常見的組合是「輕量框架（promptfoo、DeepEval）做 CI 關卡＋平台（Braintrust、LangSmith）做回歸追蹤與儀表板」。管線設計上，每次提交自動觸發單元測試與提示回歸，合併前必須通過評測集的通過率門檻；發布再分級——先進測試環境跑完整評測，人工抽驗後才推生產，並保留一鍵回滾。這麼做的價值在於把「這版能不能上」從主觀判斷變成可量化的關卡。前述 LangChain 調查中僅約半數團隊有離線評測，意味著先把這道關卡建起來的團隊，就已經領先多數同業。
可觀測性：上線後才是真正的考驗
Skill 上線後的行為，測試環境無法完全預測，因此必須讓它在生產環境「可被觀察」。至少要記錄三類訊號：輸入與輸出的完整軌跡（供事後重現問題）、每次呼叫的延遲與工具錯誤率（供效能與穩定性監控）、以及品質指標如澄清率、重試率或人工介入率（供偵測回歸）。當某類案例的失敗率突然上升，監控要能及時告警，而不是等使用者抱怨才發現。這一層也讓版本升級變得可控：新版上線後對照舊版的指標，就能客觀判斷是進步還是退步，必要時立即回滾。更重要的是，把生產環境蒐集到的真實失敗案例回補進評測集，形成「上線—觀察—補測—再發布」的閉環——這正是 89% 有觀測、52% 有評測那道缺口的補法：觀測資料若沒有回流成測試案例，就只是昂貴的日誌。
恩梯科技如何協助
恩梯科技協助企業把 AI Skill 從「能動的原型」升級為「可長期維運的軟體資產」：協助建立測試分層與評測集、導入模型釘版與依賴治理、用 promptfoo 等工具設置 CI 發布關卡，並串接上線後的可觀測性與告警機制。如果你的團隊已經有幾個 Skill 在跑、卻開始不敢動它們，歡迎與我們討論如何補上這套工程紀律。
參考資料
- LangChain，《State of Agent Engineering》，2026。來源連結
- Gartner，《Market Guide for AI Evaluation and Observability Platforms》（經 Comet 引述），2026。來源連結
- Yang, Shi, Ma, Liu, Kästner, Wu（Carnegie Mellon University），《What Prompts Don't Say: Understanding and Managing Underspecification in LLM Prompts》（arXiv:2505.13360），2025。來源連結
- Chen, Zaharia, Zou（Stanford／UC Berkeley），《How Is ChatGPT's Behavior Changing over Time?》（arXiv:2307.09009），2023。來源連結
