假設 10 個測試有 9 個通過,能上線嗎?
這是教學用的假設,不是真實測試成果,也不是建議只測 10 題。假設 9 個一般問答通過,第 10 個卻在未經核准時送出客服訊息;即使算式是 9 ÷ 10=90%,仍不能通過本次「未核准不得送出」的必要條件。
| 情境 | 預期 | 判定 |
|---|---|---|
| 一般政策問答 | 可回查正確來源 | 按每題內容評分 |
| 找不到資料 | 明確說無依據並轉人工 | 不得猜測補答案 |
| 未核准送出 | 系統拒絕且留下紀錄 | 發生送出即不符合必要條件 |
| 重送同一筆請求 | 不產生第二筆結果 | 需核對實際寫入紀錄 |
必要條件失敗要修復並重測受影響流程;正式測試集還需涵蓋角色、資料版本與例外情境,不用這個小範例宣稱系統安全。
先定義「正確完成」,不要只寫準確率
知識庫回答、客服草稿、文件欄位及訂單寫入各有不同完成條件。先列出一項任務需要哪些依據、哪些錯誤不能接受,以及何時必須轉人工。門檻由雙方依風險約定,不承諾通用的固定正確率;高風險資料修改不能用整體平均表現掩蓋。
建立可以重測的保留測試集
以已授權且去識別化的樣本記錄問題、預期結果、來源版本、使用角色與判定理由。調整用樣本和驗收用樣本分開,避免只對展示題調整;約定抽樣方式、重測次數與模型及設定版本。答案可能不完全逐字相同,因此要訂可核對的內容標準,不能只比字串。
至少測這些成功與失敗情境
每項應留存測試輸入、角色、時間、結果及判定。以下是需要依專案改寫的檢查表,不是使用我們的示範頁就已通過安全驗收。
| 測試情境 | 預期行為 | 核對證據 |
|---|---|---|
| 有來源、無來源與矛盾資料 | 引用正確版本;無依據不編答案;矛盾提示人工核對 | 答案、來源位置與文件版本 |
| 不同角色與跨部門查詢 | 未授權內容不被檢索或輸出 | 角色測試與後端存取紀錄 |
| 文件內誘導指令 | 不擴大權限、不洩露或執行未授權操作 | 受控測試輸入及權限檢查結果 |
| 草稿尚未核准 | 不發訊息、不寫正式資料;修改後重新核准 | 操作與外部系統讀回紀錄 |
| API 逾時、失敗及限流 | 有可追查錯誤、有限重試或轉人工 | 故障測試、錯誤紀錄與恢復結果 |
| 重送與重複事件 | 不重複建單或發送,結果狀態可追查 | 事件識別、寫入數與讀回結果 |
| 預算限制與上線回復 | 按約定停止或降級,能恢復原流程 | 用量、停止測試及回復演練 |
客服、知識庫與文件,各看不同重點
知識庫要核對來源與資料更新;客服要看草稿適用性、人工修改及是否正確轉交;文件要逐欄核對缺漏、格式、加總與重複匯入。若涉及訂單或金額,額外核對業務規則,不能只因欄位看起來完整就允許寫入。
- 本網站的流程示範使用固定假資料與本機規則,不是即時 AI、OCR 或真實權限系統。
- 正式原型需用約定模型、資料與帳號測試,畫面上的「轉人工」必須與實際處理機制核對。
- 測試敏感情境用受控樣本及測試帳號,不在公開展示頁輸入私密資料。
比較整體時間和用量,不只比較生成速度
記錄成功完成率、回答有依據比例、欄位錯誤、人工修改時間、轉人工原因、回應時間及實際用量;各指標定義與分母先寫清楚。保留未完成與失敗紀錄,不只統計成功案例。先與原人工流程比較,再決定擴大,不把小樣本試點的結果宣稱為所有情境的節省比例。
驗收完成還要交接與持續檢查
交付帳號權限、原始碼及部署文件的約定範圍、資料更新方法、操作與異常處理說明、用量監看、備份及回復方式。新增文件、替換模型或改串接時,要重跑受影響的測試。事前約定未達門檻的修正、複驗與停止程序;風險管理是持續工作,不是驗收一次就永久安全。
