技術共有
AIシステムの信頼性エンジニアリング:サーキットブレーカー・フォールバック・リトライでダウンタイムコストを最小化する
AIシステムは最も不安定な要素であるLLMと外部APIを主要な処理経路に組み込んでおり、レート制限・タイムアウト・障害は毎月起こり得ます。事が起きてから反応するのでは、ダウンタイムの損失はすでに発生済みです。本稿はダウンタイムコストというビジネス視点から出発し、サーキットブレーカー・フォールバック・リトライの3つの設計パターンがどのように防御チェーンを構成し、依存先の障害時にシステム全体が倒れず自動的に持ちこたえるかを解説します。