「先週のデータを整理して」という一言は、システムにとって複数の未定義パラメータを残します。どのデータか、どの形式に整えるか、どこへ出力するか、です。厄介なのはモデルが「聞き取れない」ことではなく、指示の曖昧さを検知していながら、なお一つの解釈を推測してそのまま実行しがちな点です。コーネル大学の 2026 年の研究〈Knowing but Not Showing〉はこれを定量化しました。モデルに「この文は曖昧か」と直接尋ねればおおむね正しく判断しますが、実際の QA 場面に置くと圧倒的に聞き返さず直接回答し、検索文脈を与えるとその傾向はさらに強まります（arXiv 2605.25284）。もう一つの 2026 年のコーディングエージェント研究〈Ask or Assume〉は、その代償を明確にしました。同じタスク群で、指示が完全なときの解決率は 70.8% でしたが、意図的に指示を省略し対話を許さないと 54.8% まで低下します。この約 16 ポイントの差は、システムが仮定を事実として実行することからすべて生じています。つまり曖昧な指示による失敗はモデルの能力の問題ではなく、不確実性を顕在化させ、確信が低いときに能動的に確認する層が欠けていることが原因です。以下、実装可能な四つの要素に分けて説明します。
第一歩は、自由文を有限の意図集合（intent set）へ対応づけることです。あらかじめ企業のタスク種別を定義し（例：「レポート照会」「会議設定」「文書集約」）、各意図に必須スロット（slot）の組を割り当てます。指示を受け取るとシステムは同時に二つを行います。意図分類（intent と確信度スコアの出力）と、欠落スロット検出（必須リストと照合し、未提供の項目を列挙）です。「会議設定」を例にとると、必須スロットは参加者・時刻・所要時間で、ユーザーが「会議を入れて」とだけ言えば、システムは三スロットすべてが空だと検出すべきで、既定値を埋めるべきではありません。
スロットを正確に埋めること自体が難題であり、モデルが一度で正解する前提は置けません。音声ノイズを含むベンチマーク SpokenWOZ では、最強の対話状態追跡モデルでも共同目標精度（ターン全体の状態が完全に正しくて初めて正解）はわずか 25.65% にすぎません（arXiv 2305.13040）。したがって欠落スロット検出とスロット検証はコードで担保すべきで、必須項目を飛ばすか否かをモデルに委ねてはなりません。学術界では共形予測（conformal prediction）で意図の「信頼できる意図集合」を生成し、集合が一意なら直接実行、複数候補を含むときのみ確認を発動する手法も用いられます（arXiv 2403.18973）。
確認を発するか、直接人間へ引き継ぐかは、確信度スコアと欠落スロットの状態が共同で決めます。実務上の要点は、万能の百分率は存在せず、しきい値は業務の許容誤差に応じて設定すべきで、「二段のしきい値」を用いるのが最善だということです。すなわち、モデルが根拠ある回答を出せるか（can）と、このリスク水準で出すべきか（should）です。ある医療用音声エージェントは既定しきい値を 0.75 に設定し、これを下回ると逐語記録を添えて人間へ引き継ぎ、推定した意図を「決定」ではなく「提案」として表示します。
| 意図の確信度 | スロット状態 | システムの動作 |
|---|---|---|
| 高（≥0.85） | 必須スロットの欠落なし | 直接実行 |
| 高 | 必須スロットに欠落あり | 確認し、充足後に実行 |
| 中（0.5〜0.85） | 任意 | 理解を復唱し確認を求める |
| 低（<0.5） | 任意 | 言い直しを求める、または人間へ引き継ぐ |
単一のしきい値では不十分です。成熟したシステムは多信号エスカレーションを加えます。数ターン続けて確信度が低い、あるいは対話が反復ループに陥ったら人間へ引き継ぎ、各分類の確信度と動作を記録して、後日のしきい値調整と few-shot 例の補充の根拠とします。
確認ループは有限状態機械です。意図を分類 → 欠落スロットを確認 → 欠落があれば絞った質問を一つ生成して聞き返す → スロットを再充填 → 再確認、という流れです。うまく機能するかは二つの原則で決まります。第一に「一度に最も重要な一〜二個の欠落スロットだけを尋ねる」ことです。一度に五つ質問を投げるとユーザーは離脱します。ICLR 2025 の〈Modeling Future Conversation Turns〉は、的確な確認質問が曖昧さを解消するだけでなく、一見曖昧でない問いでも最終正答率を高めることを示しました（arXiv 2410.13788）。第二に「尋ねすぎない」ことです。ループには回数上限（例えば三回）を設け、超えたら既定値に切り替えるか人間へ引き継ぎます。2026 年の確認能力ベンチマーク ClarEval はこの点を指標に組み込み、「平均確認ターン数」（ATC）と「効率調整再現率」（EAR）で過剰な質問を罰し、精度と煩わしさの折り合いを定量化します（arXiv 2603.00187）。先の例で言えば、ユーザーが「明日のレビュー会議を入れて」と言い、意図の確信度は 0.9 だが参加者と所要時間が欠落していれば、システムはこの二点だけを聞き返し、充足後に初めて会議を作成し、出席者を一切推測しません。
システムプロンプトに「不確かなときはまず尋ねる」と書くだけでは効果が限られます。モデルの既定動作が直接回答に傾くからです。より確実な方法は、「尋ねるべきか判断する」役割と「タスクを実行する」役割を二つに分けることです。〈Ask or Assume〉の二エージェント設計がその例です。意図エージェント（Intent Agent）は対話を分析し、意図・何が欠けているか・どこが仮定かを報告し、needs_clarification という真偽フラグを持つ構造化 JSON を出力するだけに徹します。主エージェント（Main Agent）はこのフラグに制約され、true のときは聞き返すことしかできず、実行はできません。この構成により、OpenHands＋Claude Sonnet 4.5 の解決率は単一エージェントの 61.2% から 69.4% へ引き上げられ、指示が完全なときの 70.8% にほぼ並びます。実装上の三つの要点は次のとおりです。
すべての機能に一度に完全な確認機構を付ける必要はありません。現実的な順序は、まず「一度の誤解が最も高くつく」一〜二の流れ——支払い・送信・データの削除や変更といった不可逆な操作を優先——を見つけ、そこに意図分類・スロット検証・確信度しきい値を加え、その後で他へ広げることです。効果は実数で測ります。誤実行率、確認後の一発完了率、そして確認のうち何割が煩わしさではなく必要だったか、です。Gartner は 2025 年 3 月、2029 年までにエージェント型 AI が一般的なカスタマーサービスの課題の 8 割を自律的に解決し、運用コストを約 3 割削減すると予測しました。しかしその上限の前提こそ、尋ねるべきときに尋ね、確信の及ばないところは人へ返すシステムであり、曖昧な一言を明確な指示として実行してしまうものではありません。
確認能力を正しく作る難しさは、意図分類・slot filling・確認ループといった用語を知ることではなく、どの流れに投資する価値があるか、各確信度しきい値と退避動作をどう設定するか、そしてユーザーを過度に煩わせずに誤実行を止める方法を見極めることにあります。これには業務の許容度とシステム実装の双方の理解が同時に必要です。恩梯科技（Nerdtechnic）の AI 導入コンサルティングとカスタム開発サービスは、まず企業のタスク種別の棚卸し、意図とスロット構造の定義を支援し、確信度しきい値と二エージェント型の確認アーキテクチャを設計し、稼働後もしきい値と few-shot 例を継続的に調整します。もし貴社の AI システムが指示の誤読でしばしば無用な結果を生んでいるなら、「尋ねるべきときに尋ねる」を安定した組み込みの振る舞いにする方法を、ぜひご相談ください。
これらの手法を自社に導入したいですか？
LINEで無料相談
技術共有
多くのブランドはチャネルごとに別々のAIボットを設置し、音声・チャット・CRMがかみ合わず、同じ顧客がつながりのない断片に分割されています。本記事では、CXMのチャネル横断統合を三層——統一顧客ビュー、システム統合、チャネル横断のオーケストレーション——として実データとともに読み解き、あらゆる接点が同一の顧客レコードの上に成り立つ仕組みを示します。
技術共有
会話が長くなるほど AI はなぜ高く、そして散漫になるのでしょうか。本稿は Chroma や Anthropic などの最新研究データをもとに、スライディングウィンドウ、要約圧縮（compaction）、分割による外部退避、重要情報のピン留めという四つの戦略と、その組み合わせ方を解き明かします。
技術共有
多くの企業は AI への権限委譲を白か黒かのスイッチとして扱い、全件を人が審査するか、すべてをシステムに自動で任せるかのどちらかになりがちです。しかし Gartner は、リスク管理の不足により agentic AI プロジェクトの 40% 超が 2027 年までに中止されると予測しています。本記事は人間工学と AI エージェントの実在する分級枠組みをもとに、全件人手審査から完全自律までの五段階の権限委譲の階段を示し、定量的な昇格基準と品質低下時のサーキットブレーカーによるフォールバックまでを扱います。
サポートが必要ですか？
ここをクリックしてお問い合わせください！
