AI 社員 試用期間の検収：本採用の go/no-go 定量ゲート

試用期間は終わったのに、「本採用すべきか」を言えない

多くの企業は AI 社員に試用期間を設けながら、期末には印象だけで去就を決めています。「まあ悪くない」「役に立った気がする」——これは検収ではなく、運任せです。そのツケは、いまデータによって明らかにされています。MIT が 2025 年に発表した調査「The GenAI Divide」は 300 件の企業導入を分析し、生成 AI プロジェクトの実に 95% が測定可能な損益貢献を出せず、本当に「試用から本番」の断崖を越えたのはわずか 5% だったと報告しています。Gartner も、価値が不明確、コストの暴走、リスク統制の不備を理由に、2027 年末までにエージェント型 AI プロジェクトの 40% 超が中止されると予測しています。

これらの失敗の多くは、AI が不十分だったからではなく、期初に「何をもって合格とするか」を誰も明確にしなかったからです。本来の試用期間検収では、期初に定量的なゲート（関門）を定め、期末に一つずつ照合し、明確な結論を出すべきです。すなわち go（本採用・稼働）、conditional（期限付き改善）、no-go（停止・作り直し）です。本稿は「本採用の瞬間」の検収基準と go/no-go ロジックに焦点を当て、指標の設計方法や組織移行の話は扱いません。

本採用検収の四つの定量ゲート

検収を互いに独立した四つのゲートに分け、いずれか一つでも未達なら無条件の本採用は認めません。しきい値は感覚ではなく実際のベンチマークに照らして設定すべきです。広く使われる τ-bench によれば、最上位のモデルでも比較的容易な小売タスクでは成功率 80% を超える一方、ルールが厳しい航空カスタマーサービスのタスクでは 54〜58% にとどまることが多く、「合格ラインは」タスクの難度とリスクに応じて調整すべきだと分かります。以下は一般的な中〜低リスク業務の出発点であり、高リスクの場面（決済・法令順守・対外的な意思決定）ではより厳しく設定してください（いずれも参考ベンチマークであり、保証値ではありません）。

これらのしきい値は公開データに照らせます。カスタマーサービス系 AI では、Intercom の Fin が約 1.2 万社の顧客平均でおよそ 76% の解決率を公表しており、裏を返せば約 4 分の 1 の会話はなお人手の引き継ぎを要します。「人手介入率」のおおよその目安になります。肝心なのは「しきい値は試用より先に」——これらの数値は試用開始前に明文化し、業務部門の合意を得ておく必要があります。さもなければ期末の判断は情実やサンクコストに引きずられます。

安定度：最も飛ばされがちで、しかし「試用の幻想」を最も暴くゲート

四つのゲートのうち最も軽視されやすいのが「安定度」です。多くのチームは一度の見栄えの良いデモを見て本採用を急ぎますが、AI の出力は確率的であり、一度の成功が毎回の成功を意味しない——ここには冷徹な数学があります。単発の成功率 75% のエージェントでも、三回連続で成功する確率は約 42%（0.75³）に過ぎません。τ-bench の pass^k 実測はさらに厳しく、単発成功率およそ 60% のエージェントは、八回連続すべて成功する割合が 25% を下回ります。連鎖はこの問題を増幅し、各段 70% の三段フローはエンドツーエンドで約 34%（0.7³）にまで落ちます。つまり「試用期間では八割方いけそう」に見える AI も、日々数百〜数千件の実トラフィックに置かれると、誤りが増幅されて手に負えなくなります。したがって安定度は一度の検収では測れず、「連続数週間、後戻りしない」ことを、単発の成功率ではなく pass^k（連続 k 回すべて成功した割合）で測る必要があります。それでこそ運で合格した幻想を防げます。

go / no-go の判断：各ゲートを個別に守り、平均しない

四つのゲートは合計して平均するのではなく、一つずつ個別に守ります。いずれか一つでも no-go の範囲に入れば直ちに本採用はできません。ただし即座に不採用というわけでもなく、三択の判断に入ります。

• go｜本採用・稼働：四ゲートすべて達成し、安定度が三週連続で後戻りしない場合。正式に日常業務へ組み込み、抽出監視へ切り替えます。
• conditional｜期限付き改善：一ゲートのみがしきい値と no-go の間にある場合。2〜4 週間の改善期間を与え、その指標を再検証し、他は観察を継続します。
• no-go｜停止・作り直し：重大な品質事故、または二ゲート以上が未達の場合。プロンプト・データ・プロセスの調整に戻し、試用を最初からやり直します。

検収では「硬く判定できる項目」と「判断を要する項目」を分けて検証することをおすすめします。タスク完了率や人手介入率のようにルールで正確に計算できるものは、確定的な指標で自動照合します。返答の品質や口調の適切さのように判断を要するものは、2026 年の主流のやり方として LLM-as-judge を組み合わせ、より強力なモデルにあなたの定めた基準で採点させ、人手の抜き取り確認で補います。「平均点」ではなく「各ゲートを守る」ことで、危険な誤り——見栄えの良い完了率で不合格の品質を覆い隠すこと——を避けられます。品質の綻びこそ、往々にして企業が本当に代償を払う部分だからです。

本採用前に一項目ずつ署名すべき検収チェックリスト

数値の達成は必要条件にすぎません。本採用の前に、AI 社員を安全に託せるかも確認する必要があります。以下のリストは業務責任者と技術責任者が共同で署名し、一項目でも欠ければ通しません。

• 四つの定量ゲートの期末データが揃い、期初のしきい値と一項目ずつ照合済みである。
• 失敗・例外ケースが記録され、誤りのパターンが制御可能で不可逆な損害を生じないと確認済みである。
• 人手の引き取りとエスカレーションのトリガーが明確で、引き継ぎの動線が実場面で検証済みである。
• 稼働後もオフライン回帰テストとオンラインのリアルタイム採点を併用し、品質低下の警報しきい値と担当者を設定済みである。
• データアクセス範囲が最小権限に従い、機微情報の取り扱い方法が確認済みである。
• ロールバック計画を用意済み：本採用後に性能が崩壊した際、どれだけ早く停止できるか。

検収を歪める三つのよくある落とし穴

• デモのデータを検収データに使う：デモ環境は厳選データと簡略化されたフローを用い、本番の複雑さを反映しません。検収は必ず実トラフィックから取ります。
• 平均だけを見て、裾を見ない：平均 95% 合格でも、残る 5% が高額・高リスクの案件に集中していればリスクは小さくありません。平均だけでなく誤りの分布を見ましょう。
• 試用期間が短すぎて締める：AI の性能はデータと文脈で変動し、安定度は十分な時間がなければ見えてきません。慣れ始めのピークで本採用を急がないでください。

恩梯科技：検収基準を導入初日へ前倒しする

本採用をめぐる争いの多くの根源は、AI が不十分だったことではなく、導入前に「何をもって合格とするか」を誰も明確にしなかったことです。恩梯科技（Nerdtechnic）の AI 導入コンサルティングサービスは、プロジェクト立ち上げの時点で四つの定量ゲートのしきい値、署名チェックリスト、go/no-go の意思決定ロジックを一緒に定め、稼働後の監視とロールバックの仕組みづくりも支援します。試用期間の終わりに、感覚での多数決ではなくデータで語れるようにするためです。稼働から半年後に「持たない」と気づくより、初日に検収基準を契約とプロセスへ書き込みましょう。

参考資料

• MIT Project NANDA，《The GenAI Divide: State of AI in Business 2025》，2025。出典リンク
• Gartner，《Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027》，2025。出典リンク
• Yao et al.（Sierra），《τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains》，2024。出典リンク
• DataCamp，《Claude 3.7 Sonnet: How it Works, Use Cases & More》，2025。出典リンク
• Intercom（Fin），《How AI Customer Service Agents Compare in 2026》，2026。出典リンク