AWS マルチリージョン：グローバルフェイルオーバーを妨げていた事前フライトディスカバリーコール

InfoQは、数年にわたり各顧客セッションに存在していた事前飛行中の発見コールの分析を発表しました。これはAWSのリージョン障害時にグローバルフェイルオーバーの障害となっていたことが明らかになりました。これはパッチというよりもシステムの教訓です。

事実

InfoQは7月13日に、AWSにおける実地ケースの詳細な分析を公開した。リージョン全体の障害が続き、チームがマルチリージョンAPIの再設計を余儀なくされた際、グローバルフェイルオーバーの障害が「見えないところで」判明した：数年来、各クライアントセッションに組み込まれていたpre-flight discovery callがそれだ。当時は唯一の選択肢として導入されたものだが、記事ではその安全な削除にどれだけの労力が必要だったかが述べられている。

考察

真の教訓は修正そのものではない。それはバグのクラスにある：マルチリージョンアーキテクチャにおいて、当時代替手段がなかったために導入された歴史的なdiscovery callが、アプリケーションログでは見えないグローバルな接触点となる。フェイルオーバーはビジネスロジックではなく、SDKのpre-flightによって裏切られる。これはソケットレベルで計測しない限り見えず、リージョン障害が発生するまで明るみにならないことが多い。

要注意

モダンなエージェント型ワークロードは、短いセッションを高頻度で繰り返す。各ユーザー操作が複数のセッションを引き起こす可能性がある。こうしたケースでは、この種の隠れたpre-flightがレイテンシのクリティカルパスとなり、フェイルオーバーの静かな障害となる。