導入前評価では組織の準備度を確認し、試用期間ではAIを本採用する価値があるかを検証しました。しかし多くの企業は「本番稼働」をプロジェクトの終点と捉え、稼働後は手を放してしまい、性能が中途半端な帯域で停滞し、かつてPOCで示した水準にいつまでも届かないままになります。これは思い込みではありません。Nature系列の学術誌Scientific Reportsに掲載された研究は、複数のモデルを検証した結果、実に91%が「時間的劣化（temporal degradation）」を示したと報告しています。つまり世界は変化し続けるのにモデルは学習時点で止まっているため、性能は時間とともに低下していくのです。言い換えれば、稼働後に放置した場合の既定シナリオは「横ばい」ではなく「悪化」です。
本当の機会は、稼働後の最初の90日間に潜んでいます。実トラフィック、実データ、そして実ユーザーの多様性は統制環境をはるかに超えており、モデルは試用期間ではテストされなかった境界事例をここで露呈します。チケット自動処理率（deflection）のような指標は稼働初日にひとりでに育つものではなく、継続的な調整によって初めて伸びていきます。2026年の複数の稼働実務ガイドは同じことを警告しています。稼働を終点と捉えるチームは、通常60〜90日以内に性能が頭打ちになるのです。ランプ期に答えるべきは「使うべきか否か」ではなく、「稼働した以上、どうすれば週ごとに良くできるか」です。これはデータで弱点を見つけ、反復的な微調整で弱点を補う、純粋な運用のフェーズです。
フィンテック企業のKlarnaは、最も頻繁に引用される教材です。2024年2月にOpenAIを用いたサポートアシスタントを稼働させた後、最初の1か月で230万件の会話を処理し、サポート量の約3分の2を引き受け、平均解決時間を11分から2分未満へ短縮し、再問い合わせを25%削減し、同社は年間約4,000万米ドルの削減を見込みました。これらの稼働時の数字だけを見れば、教科書的な成功と言えます。
しかし物語は稼働日で止まりませんでした。2025年までにKlarnaは「完全AI」路線を公に修正し、複雑な案件には人間を呼び戻し、人間とAIのハイブリッドモデルへ移行しました。CEOは以前「コストが主要な判断要因だった」ために「品質が低下した」と認めています。この揺り戻しはランプ期における最も重要な教訓を伝えています。自動処理率や応答速度といった「華やかだが表面的な」指標は速く伸びますが、それは品質が保たれることを意味しません。ランプ期にdeflectionだけを見て品質を見なければ、目に見えない満足度の流出と引き換えに美しい効率曲線を得ているだけかもしれません。ランプ期に本当に守るべきは、品質とカバー率がともに上昇することであり、単一の数字に賭けることではありません。
稼働後の監視は「応答したかどうか」だけでは足りず、品質・カバー率・ユーザー行動・コストの4つの側面を同時にカバーする必要があります。稼働初日に以下の指標をダッシュボードへ接続し、稼働前の「人間のみ」のトラフィックからベースラインを取得したうえで、以後は週ごとに傾向を比較してください。これは特定の一日の絶対値だけを見るよりはるかに有意義です。
| 側面 | 中核指標 | ランプ期の着眼点 |
|---|---|---|
| 品質 | 正答率、人手修正率、幻覚報告数 | 週を追って低下しているか |
| カバー率 | 自動処理可能な割合、人間への転送割合 | どの意図が人間に落ち続けるか |
| ユーザー | 採用率、再利用率、満足度 | 一度使って二度と使わない人がいないか |
| コストと遅延 | 1回あたりのトークンコスト、平均応答時間 | 異常に急騰するリクエスト種別はないか |
これらの指標を継続的に生み出すには、サンプリング評価の仕組みが欠かせません。2026年の主流のやり方は、実トラフィックの1〜5%を自動採点し、少なくとも週1回は人手でレビューし、RAG検索については別途50〜100組の「クエリ–文書」プローブ問を走らせ、ヒット率の変化を検索劣化の予兆信号として用いることです。そのなかでも「人手修正率」と「人間への転送割合」を主要指標とすべきです。これらはモデルがまだ自力で処理できない欠落を直接示し、以後の微調整の優先リストの源にもなります。健全なランプの兆候は、修正率と転送割合が週ごとに低下し、採用率と満足度が週ごとに上昇することです。ある指標が2週連続で動かない、あるいは悪化する場合は、その週の最優先課題に位置づけてください。
ランプ期のあらゆる問題は、ほぼ調整可能な3つのレバーのいずれかに対応します。誤りが出た途端に再学習やモデル交換に走るのは禁物です。
判断の順序はこうです。まず誤りがフォーマットか事実かを見て、Promptを触るか知識を触るかを決めます。1問あたりの誤りの代償が許容できないほど高い場合にのみ、プロセスで関門を設けます。3つのレバーはコストとリスクが低い順から高い順に並び、前にあるものほど優先すべきです。ランプ期の問題の大多数はPromptと知識の2層だけで解決できます。モデル自体の能力の天井を示す明確な証拠がない限り、ランプ期に安易に再学習したり基盤モデルを交換したりするのは、単純な問題を複雑にしてしまうことが多いのです。
微調整で最も危険な罠は、「Aを直したのに、こっそりBを壊す」ことです。2025年末にarXivへ投稿された研究は、一見汎用的なプロンプト改良が一部のタスクでは有効でも別のタスクでは悪化することを実証しました。これは、いかなる変更も「対象を絞ったテストセット」で検証すべきであり、必ず良くなると仮定してはならないことを意味します。実務的なやり方は、修正のたびに事例として記録し、回帰テストセットを蓄積することです。Promptや知識ベースを変更するたびに、まず新バージョンをこの過去事例の集合に通し、古い誤りが再発していないこと、既存の正答が壊れていないことを確認してから、本番環境へ投入します。
信頼度しきい値（confidence threshold）の調整も、直感ではなくデータで行うべきです。稼働実務ガイドは、およそ5週目に、蓄積した実データを用いて意図（archetype）ごとにしきい値を調整することを推奨しています。しきい値を高くしすぎると自動処理率が崩れ、低くしすぎると満足度が崩れます。しかもしきい値はタスク間で一律であるべきではありません。「注文照会」のような低リスクの意図は緩めに設定でき、「請求に関する係争」のような誤りの代償が大きい意図は厳しく設定する必要があります。あるチームの実践では、毎週200件の事例を人手でレビューし、満足度・解決率・転送率を較正のためのグラウンドトゥルースとして用いています。
場当たり的な火消しでは成果を安定的に押し上げられません。ランプ期には固定した反復リズムが必要です。週単位で閉ループを回すことをお勧めします。
このリズムは2026年の業界の現状にも呼応しています。LangChainのState of Agent Engineeringレポートは、すでに57%の組織がAIエージェントを本番環境に投入している一方、「品質」が32%の回答者に最大の障壁として挙げられたと指摘しています。言い換えれば、品質を継続的に押し上げられるかどうかこそ、多くのチームの勝敗を分ける要点です。通常、6〜10週間の安定運用を経ると主要指標は明確に収束し、修正率は横ばいに近づきます。これはランプ期が一段落したことを意味し、調整頻度を週次から月次へ緩め、定常運用へ移行できます。ただし監視そのものは止めてはいけません。さもなければ、時間とともに劣化するあの91%の側へ逆戻りしてしまいます。
恩梯科技は、企業がAI稼働後のランプ期の管理を制度化するお手伝いをします。成果監視ダッシュボードの構築、人間のみのトラフィックからの主要指標とベースラインの定義から、Prompt・知識・プロセスの3層にわたる微調整プロセス、回帰テストセット、毎週の調整リズムの設計まで、そして初期には企業とともにデータを見て症状に応じて調整することに伴走します。私たちの狙いは、一部の企業のように稼働時にピークを迎えてその後は下り坂になったり、華やかな自動処理率だけを追って品質を手放したりするのではなく、成果を学習曲線に沿って安定的に上昇させ続けることです。すでにAIシステムを稼働させたのに期待した水準まで伸び悩んでいる場合は、ぜひ恩梯科技にご相談ください。ランプ期を、測定可能で持続可能な上昇曲線に変えていきましょう。
これらの手法を自社に導入したいですか？
LINEで無料相談
技術共有
多くのブランドはチャネルごとに別々のAIボットを設置し、音声・チャット・CRMがかみ合わず、同じ顧客がつながりのない断片に分割されています。本記事では、CXMのチャネル横断統合を三層——統一顧客ビュー、システム統合、チャネル横断のオーケストレーション——として実データとともに読み解き、あらゆる接点が同一の顧客レコードの上に成り立つ仕組みを示します。
技術共有
会話が長くなるほど AI はなぜ高く、そして散漫になるのでしょうか。本稿は Chroma や Anthropic などの最新研究データをもとに、スライディングウィンドウ、要約圧縮（compaction）、分割による外部退避、重要情報のピン留めという四つの戦略と、その組み合わせ方を解き明かします。
技術共有
多くの企業は AI への権限委譲を白か黒かのスイッチとして扱い、全件を人が審査するか、すべてをシステムに自動で任せるかのどちらかになりがちです。しかし Gartner は、リスク管理の不足により agentic AI プロジェクトの 40% 超が 2027 年までに中止されると予測しています。本記事は人間工学と AI エージェントの実在する分級枠組みをもとに、全件人手審査から完全自律までの五段階の権限委譲の階段を示し、定量的な昇格基準と品質低下時のサーキットブレーカーによるフォールバックまでを扱います。
サポートが必要ですか？
ここをクリックしてお問い合わせください！
