AI 員工上線後的成效爬坡期：0–90 天該監控什麼、如何微調

上線不是終點，而是 90 天成效爬坡的起點

導入前評估確認了組織準備度，試用期驗證了 AI 值不值得轉正，但很多企業把「正式上線」當成專案的終點——上線後放手不管，成效卡在一個尷尬的中段，遲遲爬不上當初 POC 展示的水準。這不是錯覺：一份發表於 Nature 旗下期刊《Scientific Reports》的研究測試多個模型後發現，高達 91% 出現「時序性衰退」（temporal degradation），亦即世界持續變化、模型卻停在訓練當下，表現會隨時間往下掉。換句話說，AI 上線後若放著不管，預設劇本不是持平，而是退步。

真正的機會藏在上線後的前 90 天——真實流量、真實資料與真實使用者的多樣性遠超受控環境，模型會在此暴露試用期沒測到的邊界情境。工單自動化率（deflection）等關鍵指標，不會在上線當下自動達標，而要靠持續調校才能爬升。多份 2026 年的上線實務指南都提醒同一件事：把上線當終點的團隊，成效通常在 60～90 天內觸頂停滯。爬坡期要回答的不是「該不該用」，而是「上線之後，如何讓它一週比一週好」——這是一個純維運的階段：靠數據找短板，靠反覆微調補短板。

先看一個真實案例：Klarna 的快速爬坡與回擺

金融科技公司 Klarna 是最常被引用的教材。2024 年 2 月上線 OpenAI 驅動的客服助理後，第一個月就處理 230 萬次對話、接手約三分之二的客服量，平均解決時間從 11 分鐘壓到 2 分鐘以內、重複聯繫減少 25%，公司估算年省約 4,000 萬美元。單看這些上線數字，堪稱教科書級的成功。

但故事沒有停在上線日。到 2025 年，Klarna 公開修正了「全 AI」路線，重新把真人拉回複雜案件，改採人機混合模式；執行長坦言先前「成本是主要考量」導致「品質下滑」。這個回擺給爬坡期最重要的一課：自動化率、回應速度這類「亮眼但表面」的指標爬得快，不代表品質站得住；如果爬坡期只盯 deflection 而不盯品質，很可能是在用看不見的滿意度流失，換一條漂亮的效率曲線。爬坡期真正要守住的，是品質與覆蓋率同步往上，而不是單押某一個數字。

成效爬坡期該監控哪些指標

上線後的監控不能只看「有沒有回應」，而要同時涵蓋品質、覆蓋率、使用者行為與成本四個面向。建議在上線首日就把下列指標接進儀表板，並以上線前「純真人」流量取得基準線，之後每週對照趨勢——比單看某一天的絕對數字更有意義：

指標要能持續產出，靠的是一套抽樣評估機制：2026 年的主流做法是對 1～5% 的實際流量自動評分、每週至少一次人工複核，並針對 RAG 檢索另外跑 50～100 組「查詢–文件」探針題，用命中率的變化當作檢索衰退的預警訊號。其中「人工修正率」與「轉真人比例」應被當成主指標——它們直接指出模型還無法自理的缺口，也是後續微調的優先清單來源。健康的爬坡訊號，是修正率與轉真人比例逐週下降、採用率與滿意度逐週上升；若某個指標連續兩週不動甚至惡化，就該列為當週最優先處理的對象。

微調的三個槓桿：Prompt、知識、流程

爬坡期的每一個問題，幾乎都能對應到三個可調整的槓桿之一，切忌一遇到錯誤就想重訓或換模型：

• Prompt 微調：針對反覆出錯的意圖補上 few-shot 範例、收緊輸出格式、明確標注禁止臆測的邊界。這是成本最低、見效最快的一層——LLMOps 平台 PromptLayer 的實務顯示，拿生產環境「真正出錯的案例」回頭優化提示詞，能把準確率推到 84%，關鍵不是憑空想像好提示，而是用實際失敗資料對症下藥。
• 知識微調：若錯誤來自「答錯事實」而非「格式不對」，問題多半在知識庫——補齊缺漏文件、修正過期內容、調整 RAG 檢索的切塊與排序。研究顯示這一層威力很大：自我反思式 RAG 能把幻覺率壓到 5.8%，在放射科問答的實測中，導入代理式 RAG 讓正確率從 68% 升到 73%。
• 流程微調：若某類任務錯誤代價高，就把它從全自動改為「AI 起草、人工確認」，或設信心門檻自動轉真人，用流程設計補模型的不足。

判斷順序是：先看錯在格式還是事實，再決定動 Prompt 還是知識；只有當單題錯誤代價高到不可接受時，才用流程把關。三個槓桿的成本與風險由低到高，越前面的越該優先——絕大多數爬坡期問題靠 Prompt 與知識兩層就能解決。除非有明確證據指向模型本身的能力天花板，否則在爬坡期輕易重訓或更換底層模型，往往是把簡單問題複雜化。

調校鐵律：用回歸測試集擋住「顧此失彼」

微調最危險的陷阱，是「改好 A 卻默默弄壞 B」。一篇 2025 年底發表於 arXiv 的研究實測發現，看似通用的提示詞改良在某些任務上有效、卻在另一些任務上退步——這說明任何調整都必須用「針對性測試集」驗證，而非假設它一定更好。務實做法是把每一次修正都記錄成案例，累積成回歸測試集；每次動 Prompt 或知識庫後，先讓新版本跑過這組歷史案例，確認舊錯誤沒復發、既有正確答案沒被改壞，再放上正式環境。

信心門檻（confidence threshold）的調校也要用資料而非直覺。上線實務指南建議在約第五週、以累積的實際資料逐一意圖（archetype）調整門檻：門檻設太高，自動化率會崩；設太低，滿意度會崩。而且不同任務的門檻不該一致——「查訂單」這類低風險意圖可以設得寬，「帳務爭議」這類錯誤代價高的意圖就要設得嚴。有團隊的做法是每週人工複核 200 個案例，把滿意度、解決率與轉真人率當成校準的地面真值（ground truth）。

建立每週調校節奏

零散救火無法讓成效穩定往上，爬坡期需要一個固定的迭代節奏。建議以週為單位運轉一個閉環：

• 收集：彙整當週的人工修正、幻覺回報與轉真人案例。
• 分類：把問題歸到 Prompt、知識、流程三個槽，找出高頻高影響者。
• 調整：一次只改一到兩個變因，並先在回歸測試集驗證不造成退步。
• 複盤：對照儀表板確認主指標往正確方向移動，再決定下週優先項。

這套節奏也呼應了 2026 年的產業現況：LangChain 的《State of Agent Engineering》報告指出，已有 57% 的組織把 AI 代理放進生產環境，而「品質」被 32% 的受訪者列為最大障礙——換言之，能不能把品質持續往上調，正是多數團隊的勝負手。通常在穩定運轉六到十週後，主要指標會明顯收斂、修正率趨於平緩，代表爬坡期告一段落，可把調校頻率從每週放寬到每月，轉入常態維運——但監控本身不能停，否則就會落回那 91% 隨時間衰退的行列。

恩梯科技如何協助

恩梯科技協助企業把 AI 上線後的爬坡期管理制度化：從建置成效監控儀表板、以純真人流量定義主指標與基準線，到設計 Prompt、知識、流程三層的微調流程、回歸測試集與每週調校節奏，並在初期陪同企業一起看數據、對症調整。我們的重點是讓成效沿著學習曲線穩定往上，而不是像部分企業那樣上線即巔峰、之後一路下滑，也不是只追亮眼的自動化率卻放掉品質。若你的 AI 系統已經上線卻遲遲爬不上預期水準，歡迎與恩梯科技聊聊，一起把爬坡期走成一條可量化、可持續的上升曲線。

參考資料

• Vela, D. et al. (2022). Temporal quality degradation in AI models. Scientific Reports. nature.com/articles/s41598-022-15245-z
• Klarna. (2024). Klarna AI assistant handles two-thirds of customer service chats in its first month. prnewswire.com
• Fortune. (2025). Klarna CEO Sebastian Siemiatkowski says tech CEOs are sugarcoating AI's impact on jobs. fortune.com
• PromptLayer. The PromptLayer Way: Building LLM Applications Through Reflective Iteration. blog.promptlayer.com
• Wołk, K. et al. (2025). Evaluating Retrieval-Augmented Generation Variants for Clinical Decision Support. Electronics (MDPI), 14(21), 4227. semanticscholar.org
• Wind, S. et al. (2025). Multi-step retrieval and reasoning improves radiology question answering. npj Digital Medicine. nature.com/articles/s41746-025-02250-5
• Chai, M. et al. (2025). Prompt engineering does not universally improve Large Language Models. arXiv:2512.22966. arxiv.org/abs/2512.22966
• LangChain. State of Agent Engineering. langchain.com/state-of-agent-engineering