Skip to content

fastdoctor-manager PG16: online-ops の fdsys 読み先(db4 / db3)を db6 へ reroute(段階的 task refresh・枠外/事前) ​

本書は fastdoctor-manager.md の §C-a-3 の実行手順を分離したもの。 Blue/Green 当日手順とはライフサイクルが異なる(移行の数日前に実施する独立作業・online-ops チームと連携)。 本書の完了は §C-a-4(consumer / performance soak)へ進む前提=ゲート。

🛑 2026-10-18 改訂(#21136): 移行先を db5 → db6(online-ops 専用の新規 read replica)に変更した。 10/13〜10/16 に本手順で db5 へ移した online-ops は、db5 に同居する Trocco の長時間トランザクションで最大約18分の遅延を受け、10/16 夕方に db4 へ切り戻されている。経緯・調査結果・方針は §0、db6 の作成手順は ⓪。③以降の段階的 task refresh の手順そのもの(Auto Scaling 保存・1台ずつ置換・rollback 固定リスト)は db5 時と同じで、移行先だけが db6 に変わる。 🛑 2026-10-19 追加: マイナ導線(FDSYS_US_REPLICA_DATABASE_URL・現在 db3)も同じ reroute で db6 へ移す(§0-7)。 ✅ 2026-10-20 本番実施済み(16:26 に db4 接続 0)。 ただし 1 台目のプロセス停止・Stage A の打ち切りで db6 の予算を 120 秒に暫定変更している。実施記録と教訓は §0-8。再実施・類似作業の前に必ず読むこと。

ECS / Secretproduction 967691968827 / ap-northeast-1(東京)
DBfdsys 913831226605(db4 = ap-northeast-3 大阪 / db6 = us-east-1・online-ops 専用・新規)
変更するキーSecret online-ops-service の FDSYS_DATABASE_URL(db4→db6) と FDSYS_US_REPLICA_DATABASE_URL(db3→db6・マイナ導線) の 2 つ
絶対に変更しないFDSYS_PRIMARY_DATABASE_URL(db1)
方式service scheduler による段階的 task refresh(CodeDeploy deployment は起動しない)

関連: #21136(ops / 分析系レプリカ分離・本改訂の根拠)/ #21051(db5 遅延の原因=Trocco)/ #20480(db4→db5 reroute 本番実施・10/16 切り戻し)/ #20137(db4→db5 reroute 事前実施)/ #20138(db4 削除)/ #20280(staging リハーサル)/ #20306(db4 直指し consumer の棚卸し)/ mental-online-karte #20299(deep-health に fdsys チェック追加)・#18312(deep-health 監視整備)


§0. 2026-10 再設計の経緯・調査結果・方針(#21136) ​

0-1. 経緯(🟢 本番実測) ​

時刻(JST)事象根拠
10/13 19〜20時online-ops を db4 → db5 へ reroute(本手順・#20480)db5 接続 0→75 / db4 接続 45→2
10/14 09〜10時Redash を db4 → db5 へ付け替えdb4 DB Load 1.72→0 AAS
10/15Trocco が db4 → db5 へ移動trocco.io の DB Load が db4 から消え db5 に出現
10/15〜16db5 の ReplicaLag が 07〜10時に最大 1,076 秒。保険証 SMS 遅延(#21136)が発生CloudWatch ReplicaLag
10/16 17:14Secret FDSYS_DATABASE_URL を db4 へ戻すdescribe-secret の LastChangedDate
10/16 17:41 / 18:06API(新 task set online-ops-service-task:196)/ worker(online-ops-service-main-worker:86)が新 Secret で起動 = 切り戻し完了(Secret 更新から約52分)ECS taskSet / deployment の createdAt
10/18 時点db4 = online-ops のみ(34〜41 接続・全て TLSv1.2)、db5 = Trocco + Redash + Airflowpg_stat_activity / PI

⚠️ 10/16 の切り戻しは本書 ⑰ の固定リスト方式ではなく、**新しい task set の作成(再デプロイ)**で行われている(taskSet の createdAt から判断・操作者と手順は未記録)。次回の緊急切り戻しの所要の目安は 約52分。

0-2. 調査結果(🟢 本番実測) ​

① 遅延の主は Trocco の長時間トランザクション。14ヶ月前から続いており、reroute が作ったものではない

  • Trocco は DECLARE cur NO SCROLL CURSOR FOR SELECT * FROM "public"."<table>" → FETCH FORWARD 10000 FROM cur を繰り返す(WHERE なしの全件抽出)。カーソルを開いている間スナップショットを保持するため、レプリカの WAL 適用が止まり遅延が伸びる。
  • トランザクション経過時間 ≒ ReplicaLag を3回直接観測(2:03/2:05、3:18/3:16、3:34/3:46)。
  • db4 の 07〜10時 lag は 2025-08 から毎月 833〜1,080 秒(budget 1,080 秒に張り付き)。
  • recovery conflict(10/17 07〜11時・db5): Trocco 8件・Redash 7件(巻き添え)・Airflow 0件。

② online-ops を外しても遅延は直らない(=ops だけを db5 に戻す案は不可)

構成(07〜08時)接続数CPUlag max
db4: ops + Redash + Trocco + Airflow(10/13)4519%1,019〜1,036 秒
db4: Redash + Trocco + Airflow(ops 離脱後・10/14)2〜1013%1,057〜1,077 秒

負荷が下がっても lag 上限は変わらない。原因は CPU / IOPS ではなくスナップショット保持。

③ ops を Trocco 非同居のレプリカに置けば遅延は消える(10/16 切り戻しが本番で実証)

日db4(ops のみ)db5(Trocco + Redash + Airflow)
10/17lag max 17 秒 / avg 1.0 秒max 1,070 秒
10/18lag max 8 秒 / avg 0.8 秒max 1,075 秒

④ 東京→us-east-1 の RTT は遅延の増幅要因(原因ではない)

Trocco だけを抜き出した wait event は、DataFileRead・CPU が db4 / db5 で同一(0.103 / 0.050 AAS)で、ClientWrite だけが 0.0019 → 0.0759 AAS(40倍)。消費者(東京)から遠い分、同じ抽出でもトランザクションが長くなる。db6 も us-east-1 なので db6 には Trocco を載せない。

⑤ online-ops の読み取りはほぼ全てキャッシュヒット(ops 単独時 ReadIOPS avg 0.4〜2・ReadThroughput avg 0.48 MiB/s)。サイズを決めるのは CPU で、朝 05:30〜06:30 JST に 5分 7.56 vCPU(8 vCPU の 94%) のバーストがあった(処方箋一覧の drug_delivery_address CTE と count(*) が DB Load の約92%)。ただしこれは方式B 全面展開前(〜10/13 の db4・10/14〜15 の db5)の値で、10/17〜19 の db4(ops 単独)は CPU max 11〜12%。処方箋一覧の重いクエリが 10/16 以降レプリカに出ていないため(§0-5)。FF を legacy に戻すとバーストも戻るので、db6 は 8 vCPU を維持する。

0-3. 方針(#21136 で合意した Target) ​

db1  Primary            Multi-AZ
├─ db3  Retool          Multi-AZ(1月に再評価)
├─ db5  Redash + Airflow  Single-AZ 候補(停止許容の業務合意後)
├─ db6  online-ops      Multi-AZ(固定)  ← 本書の移行先
└─ db7  Trocco          Single-AZ 候補(PG16 移行後に新設)
方針理由
db6 は db4 削除の前に必須db4 には online-ops が残っており、ほかに移し先がない。db5 は Trocco 同居で 10/16 に切り戻し済み、db3 は 2 vCPU で朝のバーストに足りない、db1 常用は BG 直前の Primary 負荷増
db7(Trocco 分離)は PG16 移行後Trocco は既に db5 にいて db4 削除の blocker ではない。10/30 の BG の対象を増やさない
マイナ導線も同時に db6FDSYS_US_REPLICA_DATABASE_URL を db3 → db6。reroute 後の db3 は Retool 専用になる(§0-7)
db6 は Multi-AZonline-ops は止めない前提。自動フェイルオーバーの仕組みはアプリに無く、手動切替の実測は約52分
db6 の max_standby_streaming_delay は既定(30秒)1,080,000ms を持つ postgres12/16-fastdoctor-manager-replica を db6 に使わない。db3(既定30秒)は lag max 33 秒で、ops の鮮度要件に合う。30秒でクエリが殺されないかの根拠は §0-5(ops 単独の db4 で最大 3 秒。前提が崩れる条件と即時の逃げ道も §0-5)
db6 の rds.force_ssl は 1online-ops の db4 接続は全て TLSv1.2(10/18 実測)。PG16 の green も 1 なので blue/green で揃う

0-5. 30秒予算の前提: レプリカ上の online-ops クエリの長さ(2026-10-19 実測) ​

🛑 旧版はここを「online-ops のクエリは最長でも約2秒」としていたが、根拠は **db3 上の ops クエリ(マイナ導線のみ)**の値で、db4/db5 上の ops 全体ではなかった(PR レビューの指摘で訂正)。#20313 の APM では db4 上に max 69 秒が記録されている。下表に差し替える。

実測(Datadog APM service:(fastdoctor-jp/online-ops-service-postgres OR online-ops-service-main-worker-postgres) @peer.hostname:(db4* OR db5*)。APM はサンプリングされるため最大値は下限)

期間(JST)読み先・同居spans最大p9910秒超 / 日30秒超
10/05〜10/12db4・ops + Redash + Trocco + Airflow約 6,500〜13,900 / 日69.4 秒2.1〜3.4 秒11〜38 件8 件(10/07〜11)
10/13〜10/16 17時db5・ops + Redash + Trocco + Airflow約 6,300〜7,900 / 日27.4 秒2.3〜4.5 秒17〜25 件0 件
10/16 18時〜10/19 13時db4・ops のみ(方式B 全面展開後)API 23,351 / worker 596API 2.98 秒 / worker 0.65 秒1.9 秒0 件0 件

30秒超の 8 件の内訳: 処方箋一覧(drug_delivery_address を含む一覧クエリ)6 件・最大 69.4 秒 / 患者検索 1 件・32.3 秒 / worker の保険証画像クエリ 1 件・54.2 秒。

長いクエリが消えた理由(🟡 推定)

  • 処方箋一覧の drug_delivery_address クエリは、10/16 以降レプリカに一度も出ていない。同じ系統のクエリは db1 で毎日 716〜2,236 件・最大 1.0 秒(10/13〜19)。#20969 の方式B(FF 20313-prescription-list-fdsys-first)全面展開と時期が一致する。
  • worker の保険証画像クエリは db4 で 10/11 まで 14〜54 秒、10/12 以降は 0.3〜0.7 秒。db5 にいた 10/14〜16 は 16〜23 秒。原因は切り分けていない(同居する Trocco / Redash によるキャッシュ追い出しか、移行直後でキャッシュが冷えていたか)。

判断: 30秒で開始する(db3 と同じ値。ops 単独の db4 の実測最大 3 秒に対して 10 倍の余裕)。

🛑 2026-10-20 訂正: この判断は本番で崩れた(§0-8)。 「最大 3 秒」は温まった db4 の値で、作成直後の冷えた db6 では Stage A が 32〜40 秒になり、30 秒予算で打ち切られた(1 本はプロセス停止に波及)。#21179 / #21206(プールの error 処理)が未デプロイなら、開始時から 120 秒にする。 下の「前提が崩れる条件 2」が実際に起きた。

前提が崩れる条件

  1. FF 20313-prescription-list-fdsys-first を variant 0(legacy)に戻す → レプリカで最大 69 秒の一覧クエリが復活する。FF を戻すときは本節の逃げ道を先に実行する
  2. db6 作成直後のキャッシュが冷えている → db5 は移行直後の数日、同じクエリが 16〜27 秒だった(原因は上記のとおり未確定)。⑫ の段階的置換の最初の 1 台で APM の @duration を見て、10 秒超が出たら置換を進めない
    • ✅ 2026-10-20 に実際に起きた(Stage A 32〜40 秒・提出経路記録ジョブ 75.9 秒)。根本対策は #21360 / #21361。⑧ の疎通確認とは別に、置換前に db6 で Stage A と同じ形のクエリを 1 回流して温めると初回の打ち切りを避けやすい(15:16 の試験で 1.7 秒・温まった後)
  3. Trocco / Redash を誤って db6 に向ける → db6 専用 SG で接続できないようにしてある(⓪-b)

検知: 30秒予算での失敗は、遅延(lag)ではなくクエリのキャンセルとして現れる。主信号は既存のログ監視 fdsys-replica-query-canceled(online-ops のログで判定・DB を問わない)。⑯ の soak で 0 件であることを GO 条件にする。

逃げ道(即時・reboot 不要): max_standby_streaming_delay は dynamic パラメータ。キャンセルが出たら db6 専用の CPG だけを 120 秒に上げる(-replica-fresh を使うのは db6 だけ。db3 は別の CPG)。

bash
aws rds modify-db-parameter-group --profile fdsys-admin --region us-east-1 \
  --db-parameter-group-name postgres12-fastdoctor-manager-replica-fresh \
  --parameters "ParameterName=max_standby_streaming_delay,ParameterValue=120000,ApplyMethod=immediate"

上げても足りない(120 秒を超える)クエリはクエリ側を直す対象。予算を 18 分に戻すことはしない(10/16 の事象の再現になる)。

0-6. 10/30 までの期限と、遅れたときの判断 ​

期限(JST)完了させること根拠
10/20(火)⓪ db6 作成・完了条件を満たす本番実測は作成〜reboot 完了まで約 25 分(2026-10-20)
10/22(木)③〜⑯ reroute 完了(ops の全 task が db6)次の 48h soak の開始点
10/24(土)db4 の接続 0 が 48 時間(§C-a-4)
10/25(日)〜10/28(水)db4 削除(不可逆。翌日に人がいる時間帯に)BG 作成の前提(〔2026-10-23〕BG 作成を 10/29 にしたので期限は 10/28)
10/29(木)BG 作成 → AVAILABLE → preflight → warm-up → 検証(〔2026-10-23〕10/26〜29 から変更)本番クローンでは約 42 分で AVAILABLE
10/30(金)Switchover

遅れたときの判断(判断者は作業開始前に決めておく)

  • ⚠️ 「db4 を残したまま BG を作る」はできない(Cross-Region read replica があると Blue/Green を作成できない・AWS 公式)。
  • 10/22 までに reroute が終わらない場合(Fallback): online-ops の FDSYS_DATABASE_URL を一時的に db1(Primary)へ向けて(⑨と同じ手順で host を db1 にする)db4 を削除し、BG へ進む。db6 は BG 後に PG16 で作り直して戻す。
    • 10/17〜19 の ops のレプリカ負荷は DB Load 約 0.2 AAS・クエリ最大 3 秒。db1(8 vCPU・CPU avg 5〜11%)で受けられる見込み。ただし BG の論理レプリケーション中の Primary に読み取り負荷を足すことになるので、通常案にはしない。
  • それも間に合わない場合: BG を延期する。

0-7. マイナ導線(FDSYS_US_REPLICA_DATABASE_URL)も同時に db3 → db6 へ移す(2026-10-19 決定) ​

当初案は「マイナ導線は db3 に据え置き、PG16 移行後に db6 の鮮度を実測してから移す」だったが、本 reroute で FDSYS_DATABASE_URL と同時に移す。

移すもの: Secret online-ops-service の FDSYS_US_REPLICA_DATABASE_URL の host を db3 → db6。このキーを読むのは API(online-ops-service-service)だけで、worker の task 定義には無い(task-definition-main-worker-prod.yml で確認 🟢)。FDSYS_PRIMARY_DATABASE_URL(db1)は変えない。db3 も db6 も us-east-1 なので、マイナ導線のレイテンシは変わらない。

懸念: 読み先が割れる(src/database/fdsys-read-database.ts の警告) マイナ導線は「開始(pmpMynaRedirectInfo / startMynaVerification)」と「戻り(recordMynaConsentResult)」が別のリクエストで、別の task に当たりうる。段階的置換の最中は「db3 を読む task」と「db6 を読む task」が混在する。戻り側が開始時に見えていた行(home_visit_token に対応する karte)を見つけられないと、Karte not found for homeVisitToken, skipping notification(error ログ)を出して、差配画面への通知と dual-write(オン資照会 → ORCA 登録)をエラーにせずスキップする。患者の画面は「認証済み」に見える。

評価(🟡): db3 と db6 の組み合わせでは起きにくい

  • 起きる条件は「戻りを処理するレプリカの遅延」が「その行のコミットから戻りまでの時間」を上回ること。行は開始時点で既に見えているので、少なくとも**開始〜戻りの時間(患者がマイナポータルで認証する数分)**の余裕がある。
  • コードが警告している実例は「開始=db3(遅延 数十秒)・戻り=db4(遅延 最大 17 分)」で、17 分の遅延があったから成立した。
  • db3 は 30 秒予算で lag max 33 秒(実測)。db6 も 30 秒予算・online-ops 専用(ops だけの db4 は lag max 8〜17 秒・10/17〜18 実測)。両方とも 30 秒前後で頭打ちになるので、数分の余裕を超えることは通常ない。
  • 例外は db6 だけが遅れているとき(CPG の付け替え漏れで 18 分予算のまま、など)。下のガード 1 で事前に潰す。

ガード

  1. ⑨ の直前に、db6 が SHOW max_standby_streaming_delay = 30s かつ ReplicaLag が 30 秒以内であること(⓪ の完了条件を当日も再確認)
  2. 置換は低トラフィック帯に行う(マイナ導線の利用が少ない時間帯)
  3. 置換中〜置換後 48h、service:online-ops-service "Karte not found for homeVisitToken" が 0 件(ベースラインは本番 7 日 0 件・コードのコメント)。1 件でも出たら NO-GO(それ以上 stop せず ⑰ で戻す)
  4. deep-health の fdsys-us-replica の down が 0 件(⑪-b ④)
    • ⚠️ KyselyUsReplicaFdsysService は起動時プローブを持たない(意図的)。ALB healthy は us-replica 側(db6)への疎通の証明にならない。陽性確認は APM(⑪-c ⑥)で行う
  5. APM で、online-ops の db3 向け span が 0 へ減ること(⑪-c ③)。Retool は APM に出ないので、db3 の接続数 0 は条件にしない

結果: reroute 後の db3 は Retool 専用になる。db3 の max_standby_streaming_delay(30 秒)はマイナ導線のための制約ではなくなるので、Retool のクエリが殺されている問題(1 日約 118 件・10 月実測)に向けて予算を見直す余地が生まれる(Retool 担当と合意のうえ別途)。10/30 の BG では db3 も -fresh(30 秒)のままにして挙動を変えない。

rollback: ⑰ R1 は Secret のバージョンを戻すので、2 つのキーが同時に元へ戻る(db4 / db3)。db4 削除後にマイナ導線だけ戻したい場合は、FDSYS_US_REPLICA_DATABASE_URL を db3 に向けて再デプロイする(db3 は残る)。

0-8. 2026-10-20 本番実施の記録と教訓(#21136) ​

結果: ⑲(10 台のまま 1 台ずつ置換)で実施し、16:26 に db4 の接続 0。API 10 台・worker とも db6(マイナ導線を含む)。reroute 自体は成功。ただし下記 3 点で手順の前提が崩れた。

時刻(JST)出来事
00:51〜01:16⓪ db6 作成(約 25 分)。01:46 に ReplicaLag 30 分安定を確認
14:26 / 14:35⑦ 保存 / ⑨ Secret 更新(新 2cb5948d…・旧 dd5ff790…)
14:38〜14:411 台目を置換
🔴 14:421 台目の新 task がプロセスごと落ちた(下記 ①)
14:42〜14:58受診履歴 Stage A が db6 で 6 回中 6 回、30 秒超で打ち切り(下記 ②)
15:08db6 の max_standby_streaming_delay を 30 秒 → 120 秒(§0-5 の逃げ道)
15:16〜16:203〜10 台目を置換。以後エラー 0
16:23〜16:27⑬ worker 切替。直後に提出経路記録ジョブの初回クエリが 75.9 秒・db6 の遅延 65 秒(下記 ③)
16:27〜17:35soak・監視。異常なし

① 30 秒予算の打ち切りがプロセス停止に波及する(最重要)

  • db6 は作成直後でキャッシュが冷えており、Stage A のクエリが 30 秒を超えた → recovery conflict で打ち切り → うち 1 本は接続ごと強制終了(FATAL: terminating connection due to conflict with recovery)。
  • fdsys 用プール(KyselyReplicaFdsysService / KyselyPrimaryFdsysService)に pool.on('error') が無いため、待機中の接続に届いたエラーが Unhandled になり exit 1。修正は mental-online-karte #21179 / #21206(未デプロイ)。US 側プール(マイナ導線)は対処済みで落ちない。
  • ⇒ ⑯ の作業開始 GO に「#21179 / #21206 デプロイ済み、または開始時から予算 120 秒」を追加した。

② 30 秒予算の前提(§0-5 の「ops 単独で最大 3 秒」)は温まった状態の値だった

  • Stage A(受診履歴)は温まっていても 1.7〜2.9 秒、冷えていると 32〜40 秒。原因はクエリの形(OR+サブクエリで receptions を約 282 万行たどる)で、対策は #21360(OR → UNION。索引追加は不要)。
  • 提出経路記録ジョブは images.created_at の索引が無く毎回約 5.5 万ページを読む。対策は #21361(部分索引。fastdoctor-manager の migration・BG 作成前)。
  • 調査結果: #21136 調査報告。

③ 往復時間による latency 悪化(性能ゲートの例外承認)

  • medicalExaminationWaitTime(患者マイページの待ち時間表示)が p50 0.11 → 0.68 秒、p95 0.37 → 1.73 秒。原因は東京↔us-east-1 の往復(約 150ms)× 約 4 本の直列クエリ。⑯ の見込み(1〜3 往復)を超え、NO-GO 条件 (a) に抵触したが、db6 の性能起因ではなく db4 削除後はどこから読んでも同じため例外承認。改善は #21355(並列化・集約)。

現在の状態(2026-10-20 時点)

  • postgres12-fastdoctor-manager-replica-fresh の max_standby_streaming_delay = 120000(120 秒・暫定)。30 秒へ戻す条件: #21360・#21361・**#21497(処方箋一覧の候補取得の恒久対策)**が本番に入る/#21179・#21206 がデプロイ済み/db6 で打ち切り 7 日間 0 件・ReplicaLag に 60 秒超の山がない。〔2026-10-21 追記: #21497 を追加。候補取得の「14 日分」は温まった db6 でも最大 96 秒になりうるため〕
  • ⚠️ 10/30 の green db6 も同じ問題を抱える(BG の green は新規インスタンスでキャッシュが冷えている)。
  • ✅ 2026-10-21 決定・2026-10-23 改訂: green db6 は 180 秒にする(#21360 の UNION 版が本番に無い場合だけ 300 秒)(blue の 120 秒より長い。冷えた状態で切り替わるため。#21360 は v1.135.0 で本番に入った)。PG16 版 -replica-fresh は green db3(Retool)と共用なので、db6 専用の postgres16-fastdoctor-manager-replica-db6(-replica-fresh の複製+180 秒)を作って green db6 にだけ当てる。10/30 の Switchover で 120 → 180 秒に緩まる(キャンセルが増える方向には変わらない)。下げるのは切り替え後に、上と同じ条件で(PG16 側は -replica-db6 の値を変える)。理由・作成手順は fastdoctor-manager.md §C-a-8。

0-4. 本書の db5 版からの変更点 ​

箇所変更
⓪(新設)鮮度重視 CPG と db6 の作成。db6 が available になるまで ③以降を開始しない
切替対象online-ops(API + worker)のみ。Redash / Trocco / Airflow は既に db5 にいるので触らない
⑤db5 の SG パリティ確認 → db6 専用 SG の確認(online-ops NAT 2本のみ)
⑧⑨⑪⑫⑬⑮⑯⑰移行先を db5 → db6 に置換
⑮⑯db4 の判定を「online-ops 由来の read が消えること」→ **「db4 の接続が 0」**に変更(他の consumer が db4 に残っていないことを 10/18 に確認済み)
⑰db4 削除後は戻し先が無くなる点と、緊急時の退避先を追記
⑱Redash / Trocco は本書の対象外(db5 据置。Trocco の db7 移設は PG16 後に別途)
§0-7(新設・2026-10-19)マイナ導線(FDSYS_US_REPLICA_DATABASE_URL)も db3 → db6 へ同時に移す。読み先が割れるリスクの評価とガード(Karte not found for homeVisitToken = 0 を NO-GO 条件に)
⑨2 つのキー(FDSYS_DATABASE_URL / FDSYS_US_REPLICA_DATABASE_URL)を db6 に書き換える。現行値(db4 / db3)の assert
⑪-c ⑯db3 向けの online-ops span は「不変」ではなく「0 へ減る」が正。マイナ導線の db6 での陽性確認を追加
§0-5(新設・レビュー対応)30秒予算の前提を、期間・母数つきの実測に差し替え(旧版の「最長約2秒」は db3 の値の取り違え)。前提が崩れる条件と即時の逃げ道(120 秒へ)
§0-6(新設・レビュー対応)10/30 までの各段の期限と、遅れたときの判断(db4 を残したままの BG は不可)
⑮-b(新設・レビュー対応)遅延監視を db6 へ付け替え(db6 用を新設・30秒予算前提の閾値)、キャンセル監視を主信号に。モニターの変更は #2952
⑯GO 条件に「db6 上のキャンセル 0」「10 秒超のクエリ無し」を追加
⑰退避先の第一選択を db1 と明記。db5 は Trocco 同居中は禁じ手

🔑 なぜ Terraform ではなく CLI か: FDSYS_DATABASE_URL の値は IaC 管理外(terraform_for_aws に aws_secretsmanager_secret_version が無く、アプリ repo の task-definition は valueFrom で ARN 参照するのみ)。⇒ 変更は CLI put-secret-value。TF apply でもアプリ再デプロイでも db4 に戻らない。


切替対象と方針 ​

  • 切替対象(db4→db6): online-ops の API(online-ops-service-service)と worker(online-ops-service-main-worker)のみ。
  • Redash / Trocco / Airflow は変更しない(10/14〜15 に db5 へ移行済みで、10/18 の pg_stat_activity / PI で db4 に残っていないことを確認済み)。db6 へ向けない(db6 は online-ops 専用。Trocco を載せると db5 と同じ遅延が ops に及ぶ)。
  • Retool は変更しない(本番 pg_stat で Retool=db3・db4 非利用。db3 据置)。
  • ⚠️ online-ops は 別アカウント(production 967691968827)・別リポジトリ・東京(ap-northeast-1)。secret 更新・ECS 再デプロイは online-ops チームと連携して実施。
  • 🛑 方式の訂正(2026-10-07 実機 read-only 調査): 本節は当初 CodeDeploy create-deployment(ECSAllAtOnce) としていたが、service scheduler による段階的 task refresh(10→11→1台ずつ置換→10) に変更する。理由は §C-a-3-① を参照。CodeDeploy deployment は本手順では起動しない。Canary / ECS Exec / pipeline も使わない。

① 方式と安全性設計(★minimumHealthyPercent / maximumPercent を根拠にしない)

Secret db4→db6
  ↓  (稼働中タスクは valueFrom を task 起動時にしか解決しないので、この時点では誰も db6 を見ない)
API を 10→11 へ一時スケールアウト
  ↓  新 Secret を読む task が 1 台だけ増える(既存 10 台は無傷=容量減ゼロ)
確認(RUNNING → ALB healthy → db6 接続 → 実 read API)
  ↓
旧 task を 1 台ずつ stop → replacement が db6 で起動 → healthy を待つ
  ↓
全台置換後に worker を切替 → Auto Scaling を作業前状態へ復元(11→10)

安全性の根拠はこの6点(deploymentConfiguration の百分率ではない):

① 既存 10 task を残したまま 11 台目を追加する(容量を減らさない)
② 11 台目が RUNNING だけでなく ALB target healthy になるまで旧 task を止めない
③ 旧 task は 1 回につき 1 台だけ stop する
④ replacement が healthy になって 11 台へ戻るまで次の task を stop しない
⑤ 異常が 1 つでもあれば、それ以上の stop を即中断する
⑥ rollback 時も 1 台ずつ戻す

なぜ ECSAllAtOnce を使わないか(実績 d-UTKAS1JF9・2026-10-06 実測): CodeDeploy B/G は task set を2つ並存させるため task は 10→20→10 と倍増し(両 task set とも desired=10/running=10・別 TG)、AllAtOnce が指すのは トラフィック切替(0%→100% が 0.8秒)である。deployment group は waitTimeInMinutes: 0 / actionOnTimeout: CONTINUE_DEPLOYMENT / terminationWaitTimeInMinutes: 1 のため、段階的な露出も長い観察窓も取れず、異常時に Blue が保持されるのは1分だけ。段階的 task refresh なら task set は1つのまま最大12台程度で済み、露出を1台単位・任意のペースで制御でき、いつでも中断できる。

② 前提(2026-10-07 実機 read-only 実測・当日に再確認する)

項目実測値
東京→db4 TCP RTT(踏み台 n=7 median)11.8ms(db4 は ap-northeast-3 = 大阪)
東京→db5 TCP RTT(同)150.3ms(db5 は us-east-1。db3 も 150.5ms)
ReplicaLag 7日 avg/maxdb4 44.2s / 1073s ・ db5 0.70s / 173s ・ db3 1.29s / 36s
max_standby_streaming_delaydb4 = db5 = 1,080,000ms(18分)/db3 のみ未設定(既定30秒)
DatabaseConnections 7日 avg/maxdb4 33.2 / 60 ・ db5 0.0004 / 1(実質 idle)
ECS serviceonline-ops-service-service desired=10・controller=CODE_DEPLOY・task set は PRIMARY×1
TGonline-ops-service-green・deregistration_delay=300s・round_robin・stickiness 無効
health check/healthz・interval 40s・healthy 3・unhealthy 10 → healthy 最短約120秒/unhealthy 検知 最大約400秒
Auto ScalingMin=Max=10・SuspendedState 全 false・StepScaling 2本(scale_in/out・cooldown 60)・ScheduledAction 0件
stopTimeoutTD 未設定 → Fargate 既定 30秒
Secretonline-ops-service(967691968827/ap-northeast-1)。FDSYS_DATABASE_URL に クエリパラメータなし

ℹ️ 上表は db5 向けに 2026-10-07 に測った値(db5 の行は参考)。db6 は db5 と同じ us-east-1 なので RTT は約150ms の想定(作成後に⓪-c で実測する)。2026-10-18 時点の値は次のとおり。

項目2026-10-18 実測
db4 ReplicaLag(ops のみ・10/17〜18)max 8〜17秒 / avg 0.8〜1.0秒
db5 ReplicaLag(Trocco + Redash + Airflow)max 1,070〜1,075秒
db4 接続(pg_stat_activity)18.178.147.64 ×19〜22 / 3.113.154.169 ×15〜19(全て TLSv1.2)+ rdsadmin ×2
db4 DeletionProtectiontrue(削除前に解除が必要・§C-a-5)
rds.force_ssldb1 / db3 = 1、db4 / db5 = 0、PG16 green(writer / replica)= 1(PG16 既定)。green db5 は C を 0 にして blue に揃える(fastdoctor-manager.md §C-a-8)

所要時間の実測(2026-10-07 staging リハーサル・#20280)

工程実測備考
台数追加(+2台・起動〜healthy)2分34秒health check interval 40s × healthy 3 = 最短120秒とほぼ一致
旧 task 1台の置換(stop〜healthy 復帰)2分53秒最小 healthy は 1台減のみ
rollback 1ラウンド2分30秒〜3分30秒同上
切替操作の合計(往路)約 6分Secret 更新+台数追加+1台置換+worker
rollback の合計(復路)約 11分3台を1台ずつ+worker

⚠️ staging は 同一リージョン(RTT 1〜3ms)かつ API 1台。本番は 10台 × +138ms なので、1台あたりの所要はほぼ同じでも総所要は約10倍(観測60秒込みで 40〜60分)になる見込み。

⚠️ +138ms/往復 は設計上の必然であり異常ではない。db4(大阪)→db6(us-east-1) で DB 往復1回あたり約 +138ms(12.7倍・db5 で実測した値。db6 も同リージョン)になる。FDSYS_PRIMARY_DATABASE_URL(db1) と FDSYS_US_REPLICA_DATABASE_URL(db3) は元から us-east-1 なので、新たに増分を被るのは FDSYS_DATABASE_URL を直指ししている read 経路のみ(KyselyReplicaFdsysService 直接注入 16ファイル + PrismaFdsysService)。FdsysReadDatabase 経由=マイナ導線は db3 → db6 に移るが、どちらも us-east-1 なのでレイテンシは変わらない(§0-7)。GO/NO-GO での扱いは §C-a-3-⑭ を参照。

✅ (旧版の懸念が的中した記録) 旧版はここで「db5 の lag 0.7s は負荷ゼロの産物で、負荷が移れば db4 同様に遅れうる」と警告していた。実際に 10/15〜16 の db5 は Trocco 同居で max 1,076秒となり、online-ops は 10/16 に切り戻された(§0)。 ⇒ db6 では (1) Trocco を載せない(online-ops 専用)、(2) max_standby_streaming_delay を既定 30秒にする(1,080,000ms の replica CPG を使わない)の 2 点で同じ事象を防ぐ。db3 の lag max が 33〜36秒に収まっているのは、既定30秒でクエリをキャンセルして WAL 適用を優先しているため。online-ops のレプリカ上のクエリは、10/16 夕方以降(方式B 全面展開後・ops 単独の db4)で最大 2.98 秒(§0-5)。ただし 10/16 以前は最大 69 秒があったので、30秒予算の前提が崩れる条件と監視・逃げ道を §0-5 に置く。


⓪ db6(online-ops 専用 read replica)の作成 — ★db6 が available になり ⓪-c を満たすまで ③以降を開始しない

実行は fdsys アカウント(fdsys-admin / 913831226605 / us-east-1)。db6 は新規・無トラフィックなので、作成・付け替え・reboot はいずれも本番影響なし。 所要(2026-10-20 本番実測): 作成開始 00:51 → db1 のスナップショットから復元 01:02 → Multi-AZ 化 01:03〜01:12 → available 01:13(約 22 分)。CPG 付け替え約 1 分、reboot 約 1 分で、⓪-c 全体で約 25 分。db1 の容量や混み具合で延びうるので、reroute の前日までに着手する。 作成中の db1 は「変更中(modifying)」と表示される。replica 作成用のスナップショットを取っている間の表示で(イベント Backing up DB instance)、PendingModifiedValues は空・設定変更ではない。db1 は Multi-AZ なのでスナップショットは standby から取られ、作成中も CPU 4〜5%・書込遅延 約 0.01 秒で変化なし(2026-10-20 実測)。 コスト: 10/30 の PG16 Switchover までの約10日間は PG12 Extended Support($0.10/vCPU-時・Multi-AZ は2倍)が掛かる。t4g.2xlarge Multi-AZ で約 $384(10日)。Switchover 後は green が PG16 になり Extended Support は消える。

⓪-a 鮮度重視 CPG を作成(PG12 用=db6 作成時 / PG16 用=10/30 の green db3・db6 用)

bash
export AWS_PROFILE=fdsys-admin AWS_PAGER="" ; R=us-east-1
# PG12: db3 の CPG(rds.force_ssl=1・max_standby_streaming_delay 未設定=既定30秒)を複製する
aws rds copy-db-parameter-group --region $R \
  --source-db-parameter-group-identifier postgres12-fastdoctor-manager \
  --target-db-parameter-group-identifier postgres12-fastdoctor-manager-replica-fresh \
  --target-db-parameter-group-description "online-ops read replica (db6): freshness first, max_standby_streaming_delay=default (#21136)"

# PG16: replica CPG を複製し、max_standby_streaming_delay だけ既定へ戻す
aws rds copy-db-parameter-group --region $R \
  --source-db-parameter-group-identifier postgres16-fastdoctor-manager-replica \
  --target-db-parameter-group-identifier postgres16-fastdoctor-manager-replica-fresh \
  --target-db-parameter-group-description "PG16 green db3/db6: freshness first, max_standby_streaming_delay=default (#21136)"
aws rds reset-db-parameter-group --region $R \
  --db-parameter-group-name postgres16-fastdoctor-manager-replica-fresh \
  --parameters "ParameterName=max_standby_streaming_delay,ApplyMethod=immediate"
# PG16: rds.force_ssl=1 を明示する(C の値を引き継がないため。下の ⚠️ 参照)
aws rds modify-db-parameter-group --region $R \
  --db-parameter-group-name postgres16-fastdoctor-manager-replica-fresh \
  --parameters "ParameterName=rds.force_ssl,ParameterValue=1,ApplyMethod=immediate"

# 確認: 両方とも max_standby_streaming_delay=engine-default、rds.force_ssl=1
for G in postgres12-fastdoctor-manager-replica-fresh postgres16-fastdoctor-manager-replica-fresh; do
  echo "== $G =="
  aws rds describe-db-parameters --region $R --db-parameter-group-name $G \
    --query "Parameters[?ParameterName=='max_standby_streaming_delay' || ParameterName=='rds.force_ssl'].[ParameterName,ParameterValue,Source]" --output text
done

⚠️ 既存の postgres12-fastdoctor-manager-replica / postgres16-fastdoctor-manager-replica を db6 に使わない。 どちらも max_standby_streaming_delay=1,080,000(18分)で、PG12 版は rds.force_ssl=0。db6 に当てると「遅延を18分まで許す」設定になり、10/16 の事象を再現しうる。 ⚠️ postgres12-fastdoctor-manager を db6 から直接参照しない(db3 と共有になり、将来の変更が db3 にも波及する)。 ⚠️ PG16 版の -replica-fresh は C(postgres16-fastdoctor-manager-replica)の複製なので、C の rds.force_ssl を引き継ぐ。 C は green db5 を blue db5(rds.force_ssl=0)に合わせるために 0 へ変える(fastdoctor-manager.md §C-a-8)。その後に複製すると -replica-fresh も 0 になり、green db3 / db6 が Switchover で 1→0 に変わる(blue は db3 / db6 とも 1)。上の rds.force_ssl=1 の明示は、C を変えるのが ⓪-a の前でも後でも -replica-fresh を 1 にするためのもの。確認で PG16 版が 1 以外なら先に進まない(2026-10-19 追記)。

⓪-b db6 専用 SG の作成(online-ops の NAT 2本のみ許可)

bash
# in-region の read replica は source(db1)の DB subnet group を引き継ぐので、SG は db1 と同じ VPC に作る(VPC ID は live で取得)
VPC=$(aws rds describe-db-instances --region $R --db-instance-identifier fastdoctor-manager-db1 \
  --query 'DBInstances[0].DBSubnetGroup.VpcId' --output text) ; echo "VPC=$VPC"

DB6_SG=$(aws ec2 create-security-group --region $R \
  --group-name fastdoctor-manager-db6-sg \
  --description "db6 (online-ops read replica) dedicated: online-ops NAT only (#21136)" \
  --vpc-id "$VPC" \
  --tag-specifications 'ResourceType=security-group,Tags=[{Key=Name,Value=fastdoctor-manager-db6-sg},{Key=ManagedBy,Value=manual},{Key=Issue,Value=21136}]' \
  --query GroupId --output text) ; echo "DB6_SG=$DB6_SG"
aws ec2 authorize-security-group-ingress --region $R --group-id "$DB6_SG" --ip-permissions \
  'IpProtocol=tcp,FromPort=5432,ToPort=5432,IpRanges=[{CidrIp=3.113.154.169/32,Description="fd-platform tokyo NAT (online-ops / bastion)"},{CidrIp=18.178.147.64/32,Description="fd-platform tokyo NAT (online-ops)"}]'
aws ec2 describe-security-group-rules --region $R --filters Name=group-id,Values="$DB6_SG" \
  --query 'SecurityGroupRules[?IsEgress==`false`].[CidrIpv4,FromPort,Description]' --output table

★Trocco / Retool / Redash の CIDR は入れない。 db6 は online-ops 専用で、SG でも Trocco が接続できない状態にする(誤って db6 を向けた設定を構造的に防ぐ)。 ★踏み台(i-0f44005c3f7259513)からの調査経路は塞がらない。 踏み台の出口 IP は 3.113.154.169(online-ops と同じ fd-platform 東京 NAT)で、この SG が許可する 2 本のうちの 1 本。2026-10-18 に踏み台から db4 / db5 / db3 へ psql した際、各 DB の pg_stat_activity に client_addr = 3.113.154.169 で記録されたことを確認済み。⑧ の事前疎通確認も、障害時の調査(本番が実際に読んでいる db6 での測定)もこの経路で行える。 ⚠️ この前提は「踏み台の出口が online-ops と同じ NAT である」ことに依存する。踏み台の配置(サブネット / NAT)を変えるときは db6 SG にも反映する。 SG は Terraform 管理外の手製リソース(#20381 の db5 専用 SG と同じ扱い)。

⓪-c db6 の作成 → CPG 付け替え → reboot

bash
# ⚠️ postgres の read replica は作成時に --db-parameter-group-name を指定できない(実エラー既知)。作成後に付け替える。
#    作成直後の db6 には db1 の CPG(postgres12-fastdoctor-manager-bg・rds.logical_replication=1 入り)が付く。付け替えるまで max_standby_streaming_delay は db1 と同じ。
# ℹ️ 作成中〜付け替え後のイベントに「max_connections / max_wal_senders was set to a value incompatible with replication. It has been adjusted」が繰り返し出る。
#    replica はこの 2 つを source 以上にする必要があり、RDS が自動で引き上げた通知。対応不要(2026-10-20 実測)。
# ⚠️ in-region read replica の Allocated Storage は source(db1 = 400GiB)を継承する(小さくできない)。400GiB で 12,000 IOPS / 500MiB/s が付く。
aws rds create-db-instance-read-replica --region $R \
  --db-instance-identifier fastdoctor-manager-db6 \
  --source-db-instance-identifier fastdoctor-manager-db1 \
  --db-instance-class db.t4g.2xlarge \
  --multi-az \
  --publicly-accessible \
  --vpc-security-group-ids "$DB6_SG" \
  --enable-performance-insights --performance-insights-retention-period 7 \
  --deletion-protection \
  --copy-tags-to-snapshot \
  --tags Key=Issue,Value=21136 Key=Role,Value=online-ops-read
aws rds wait db-instance-available --region $R --db-instance-identifier fastdoctor-manager-db6

# CPG を鮮度重視版へ付け替え → pending-reboot になるので reboot(★online-ops 切替の「前」に必ず済ませる)
aws rds modify-db-instance --region $R --db-instance-identifier fastdoctor-manager-db6 \
  --db-parameter-group-name postgres12-fastdoctor-manager-replica-fresh --apply-immediately
aws rds wait db-instance-available --region $R --db-instance-identifier fastdoctor-manager-db6
aws rds reboot-db-instance --region $R --db-instance-identifier fastdoctor-manager-db6
aws rds wait db-instance-available --region $R --db-instance-identifier fastdoctor-manager-db6

# 構成確認(ここで endpoint を保存し、⑨ で使う。手打ちしない)
mkdir -p /tmp/oo_db6
aws rds describe-db-instances --region $R --db-instance-identifier fastdoctor-manager-db6 \
  --query "DBInstances[0].{Status:DBInstanceStatus,Engine:EngineVersion,Class:DBInstanceClass,MultiAZ:MultiAZ,Public:PubliclyAccessible,\
Source:ReadReplicaSourceDBInstanceIdentifier,Alloc:AllocatedStorage,Iops:Iops,Thru:StorageThroughput,\
PG:DBParameterGroups[0].DBParameterGroupName,PGStatus:DBParameterGroups[0].ParameterApplyStatus,\
SG:VpcSecurityGroups[*].VpcSecurityGroupId,DeletionProtection:DeletionProtection,PI:PerformanceInsightsEnabled}" --output json
aws rds describe-db-instances --region $R --db-instance-identifier fastdoctor-manager-db6 \
  --query 'DBInstances[0].Endpoint.Address' --output text | tee /tmp/oo_db6/db6_endpoint.txt
# db1 の replica 一覧に db6 が加わったこと
aws rds describe-db-instances --region $R --db-instance-identifier fastdoctor-manager-db1 \
  --query 'DBInstances[0].ReadReplicaDBInstanceIdentifiers' --output json

踏み台経由の psql(read-only)で値を確認する(接続手順は ⑧ と同じ):

sql
SET default_transaction_read_only = on;
SELECT pg_is_in_recovery();                 -- t
SHOW server_version;                        -- 12.22
SHOW max_standby_streaming_delay;           -- 30s(★1080000ms / 18min なら CPG 付け替え漏れ。NO-GO)
SHOW ssl;                                   -- on
SELECT ssl, version FROM pg_stat_ssl WHERE pid = pg_backend_pid();   -- t / TLSv1.2
SELECT now() - pg_last_xact_replay_timestamp() AS replay_delay;      -- 数秒以内
SELECT inet_client_addr();                  -- 3.113.154.169(踏み台の出口。db6 SG の許可で入れている)
SELECT usename, coalesce(host(client_addr),'local') AS client, coalesce(nullif(application_name,''),'(none)') AS app, count(*)
  FROM pg_stat_activity WHERE backend_type = 'client backend' GROUP BY 1,2,3 ORDER BY 4 DESC;
  -- fdadmin / 3.113.154.169 / psql ×1(自分)+ rdsadmin / local ×2(RDS の管理用)だけ。online-ops 等はまだ居ない

⚠️ SHOW rds.force_ssl は使えない(PG12 では ERROR: unrecognized configuration parameter "rds.force_ssl"・2026-10-20 実測)。rds.force_ssl は RDS の CPG パラメータで、PostgreSQL の設定としては見えない。値は ⓪-a の describe-db-parameters(rds.force_ssl=1)で確認し、psql では SHOW ssl(on)と pg_stat_ssl(t / TLSv1.2)で SSL 接続が成り立っていることを見る。

⓪ の完了条件(1つでも欠けたら ③以降に進まない)

[ ] db6: Status=available / Class=db.t4g.2xlarge / MultiAZ=true / Public=true / Source=fastdoctor-manager-db1
[ ] db6: AllocatedStorage=400 / Iops=12000 / StorageThroughput=500
[ ] db6: PG=postgres12-fastdoctor-manager-replica-fresh / ParameterApplyStatus=in-sync
[ ] db6: SHOW max_standby_streaming_delay = 30s / SHOW ssl = on / pg_stat_ssl = t(CPG の rds.force_ssl=1 は describe で確認)
[ ] db6: SG=fastdoctor-manager-db6-sg のみ(5432 を 3.113.154.169/32・18.178.147.64/32 にだけ許可)
[ ] db6: DeletionProtection=true / PerformanceInsightsEnabled=true
[ ] db6: ReplicaLag が数秒で安定(CloudWatch 30分)
[ ] db6 endpoint を /tmp/oo_db6/db6_endpoint.txt に保存済み
[ ] postgres16-fastdoctor-manager-replica-fresh も作成済み(10/30 の green db3 用・§C-a-8。green db6 は 2026-10-21 改訂で別の -replica-db6〔180 秒〕を使う)

③ 共通ライブラリ(★bash で実行。zsh は $(...) を単語分割しないため挙動が異なる)

bash
mkdir -p /tmp/oo_db6
cat > /tmp/oo_db6/oo_lib.sh <<'LIBEOF'
#!/usr/bin/env bash
set -euo pipefail
export AWS_PAGER=""
PROFILE="${PROFILE:-production-admin}"
REGION="${REGION:-ap-northeast-1}"
CLUSTER="${CLUSTER:-online-ops-service-cluster}"
SERVICE="${SERVICE:-online-ops-service-service}"
WORKER="${WORKER:-online-ops-service-main-worker}"
RID="service/${CLUSTER}/${SERVICE}"
WORK="${WORK:-/tmp/oo_db6}"
mkdir -p "$WORK"
AWS="aws --profile $PROFILE --region $REGION"

oo_tg() { $AWS ecs describe-services --cluster "$CLUSTER" --services "$SERVICE" \
  --query 'services[0].taskSets[?status==`PRIMARY`].loadBalancers[0].targetGroupArn | [0]' --output text; }
oo_tasks() { $AWS ecs list-tasks --cluster "$CLUSTER" --service-name "$SERVICE" --desired-status RUNNING \
  --query 'taskArns[]' --output text | tr '\t' '\n' | sed '/^$/d; /^None$/d' | sort; }
oo_counts() { $AWS ecs describe-services --cluster "$CLUSTER" --services "$SERVICE" \
  --query 'services[0].[desiredCount,runningCount,pendingCount]' --output text; }
oo_healthy() { $AWS elbv2 describe-target-health --target-group-arn "$1" \
  --query 'length(TargetHealthDescriptions[?TargetHealth.State==`healthy`])' --output text; }
oo_tg_states() { $AWS elbv2 describe-target-health --target-group-arn "$1" \
  --query 'TargetHealthDescriptions[].[Target.Id,TargetHealth.State]' --output text | sort; }
oo_task_ip() { $AWS ecs describe-tasks --cluster "$CLUSTER" --tasks "$1" \
  --query 'tasks[0].attachments[0].details[?name==`privateIPv4Address`].value | [0]' --output text; }
oo_task_info() { $AWS ecs describe-tasks --cluster "$CLUSTER" --tasks "$1" \
  --query 'tasks[0].[lastStatus,healthStatus,startedAt,taskDefinitionArn]' --output text; }
oo_events() { $AWS ecs describe-services --cluster "$CLUSTER" --services "$SERVICE" \
  --query "services[0].events[0:${1:-8}].[createdAt,message]" --output text; }

# ★comm は使わない(未ソート入力に警告なく誤答することを 2026-10-07 に実証)
diff_not_in() { grep -vxF -f "$1" "$2" || true; }

oo_wait_healthy() {   # $1=TG  $2=期待台数  $3=タイムアウト秒
  local tg="$1" want="$2" to="$3" d r p h now
  local deadline=$(( $(date +%s) + to ))
  while :; do
    read -r d r p <<< "$(oo_counts)"
    h=$(oo_healthy "$tg")
    echo "    $(date '+%H:%M:%S') desired=$d running=$r pending=$p healthy=$h (want=$want)"
    if [ "$r" = "$want" ] && [ "$p" = "0" ] && [ "$h" = "$want" ]; then return 0; fi
    now=$(date +%s); [ "$now" -ge "$deadline" ] && return 1
    sleep 20
  done
}
LIBEOF

④ デプロイ凍結(★GO の必須条件)

  • 作業時間中、online-ops の通常デプロイを凍結する(GitHub Actions ワークフロー無効化+リリース担当へ周知)。凍結しないと OLD_TASKS / task set / desiredCount の前提が崩れる。
  • 凍結対象は CodeDeploy application online-ops-service-deploy のみ。online-ops-deploy は別クラスタ online-ops-cluster(online-ops-task:110)で FDSYS_DATABASE_URL 非依存=対象外。online-ops-service-remote-signature-client も FDSYS secret を持たず対象外。
  • ✅ #20299(deep-health に fdsys チェック追加)は 2026-10-07 に本番デプロイ済み(a872650d2c)。checks[] に fdsys-replica / fdsys-primary / fdsys-us-replica が入り、⑪-b の per-task 判定が無条件で使える。
    • 実測(2026-10-08): GET /health/dependencies が 200 のみ・543回/24h(約2.6分間隔)。呼び出し元は Datadog/Synthetics と内部ポーラー(python-urllib3)の2系統。
    • ★別のデプロイが凍結中に走ると、Secret 変更後に全台が一括で db6 へ移り段階的方式が崩壊する。 凍結は引き続き必須。
  • 🛑 terraform apply も凍結する(fastdoctor-template/online-ops-service/production)。min/max は Terraform 管理下のため、作業中に apply されると 11/11 → 10/10 に戻され、db6 を読んでいる唯一の task が落とされる(詳細は ⑥ の注記)。
    • 自動 apply は存在しないことを確認済み(.github/workflows/ に production@plan.yml はあるが production@apply.yml は無い。staging@apply.yml は staging 専用で対象外)。⇒ 塞ぐべきは人手の apply のみ。作業時間帯を周知する。

⑤ 事前 read-only 確認

bash
source /tmp/oo_db6/oo_lib.sh
TG=$(oo_tg); echo "TG=$TG"
# CodeDeploy 進行中なし([] であること)
$AWS deploy list-deployments --application-name online-ops-service-deploy \
  --deployment-group-name online-ops-service-deploy-group \
  --include-only-statuses Created Queued InProgress Baking Ready --query 'deployments'
# task set 構成(PRIMARY×1・ACTIVE なし・STEADY_STATE)/ 現行 task definition リビジョン
$AWS ecs describe-services --cluster "$CLUSTER" --services "$SERVICE" \
  --query 'services[0].taskSets[].{status:status,td:taskDefinition,computed:computedDesiredCount,running:runningCount,stab:stabilityStatus}'
oo_counts ; oo_healthy "$TG" ; oo_tg_states "$TG"
# Auto Scaling / ScheduledAction
$AWS application-autoscaling describe-scalable-targets --service-namespace ecs --resource-ids "$RID"
$AWS application-autoscaling describe-scheduled-actions --service-namespace ecs --resource-id "$RID"   # → [] であること
# db6 の可用性(⓪ の完了条件を当日も再確認)
aws rds describe-db-instances --profile fdsys --region us-east-1 --db-instance-identifier fastdoctor-manager-db6 \
  --query 'DBInstances[0].{st:DBInstanceStatus,ver:EngineVersion,cls:DBInstanceClass,multiaz:MultiAZ,src:ReadReplicaSourceDBInstanceIdentifier,pg:DBParameterGroups[0].DBParameterGroupName,apply:DBParameterGroups[0].ParameterApplyStatus}'
# ★db6 の SG が online-ops NAT 2本だけであること(Trocco / Retool / Redash の CIDR が無いこと)
DB6_SG=$(aws rds describe-db-instances --profile fdsys --region us-east-1 --db-instance-identifier fastdoctor-manager-db6 \
  --query 'DBInstances[0].VpcSecurityGroups[0].VpcSecurityGroupId' --output text)
aws ec2 describe-security-group-rules --profile fdsys --region us-east-1 --filters Name=group-id,Values="$DB6_SG" \
  --query 'SecurityGroupRules[?IsEgress==`false`].CidrIpv4' --output text | tr '\t' '\n' | sort > /tmp/oo_db6/sg_db6.txt
printf '18.178.147.64/32\n3.113.154.169/32\n' | sort > /tmp/oo_db6/sg_db6_expect.txt
diff /tmp/oo_db6/sg_db6_expect.txt /tmp/oo_db6/sg_db6.txt && echo "db6 SG OK(online-ops NAT のみ)"
# ★db4 に online-ops 以外の consumer が居ないこと(10/18 は online-ops のみ。増えていたら reroute 後の db4 判定 ⑮ が変わる)
#   PI の db.sql_tokenized(直近24h)で Kysely 以外("/* Username:" や "FETCH FORWARD")が出ていないこと
# db4 の接続数(直近24h・1時間ごとの min/max)。reroute 前は online-ops が読んでいるので >0 が正(2026-10-20 実測 min 23 / max 59)
aws cloudwatch get-metric-statistics --profile fdsys --region ap-northeast-3 --namespace AWS/RDS \
  --metric-name DatabaseConnections --dimensions Name=DBInstanceIdentifier,Value=fastdoctor-manager-db4 \
  --start-time "$(date -u -v-24H +%FT%TZ)" --end-time "$(date -u +%FT%TZ)" --period 3600 --statistics Minimum Maximum \
  --query 'sort_by(Datapoints,&Timestamp)[].[Timestamp,Minimum,Maximum]' --output text

ℹ️ db5 は 2026-10-08 に専用 SG sg-0160e71db0acd2249(db4 とパリティ・11 CIDR)へ分離済み(#20381)。db5 は Redash / Trocco / Airflow が使うので、そちらの SG は本作業で触らない。 ℹ️ debt-manager-retool(35.72.133.204)は 10/18 の pg_stat_activity / PI で db4 に接続なし(#20306 の判定材料)。

⑥ Auto Scaling の現状保存(★「10/10 へ戻す」固定値にしない)

🛑 min/max の変更は Terraform ドリフトになる(2026-10-07 コード確認)。fastdoctor-template/online-ops-service/production/main.tf:53 が manage_autoscaling_capacity = true のため、modules/ecs/autoscale.tf では ignore_changes の無い aws_appautoscaling_target.ecsfargate_managed が選択される。宣言値は ecs_min_count_ecs = 10 / ecs_max_count_ecs = 10(#19740 で min を 5→10 に引上げ)。

操作TF 管理ドリフト
register-scalable-target --min 11 --max 11管理下★発生する
update-service --desired-count 11aws_ecs_service の ignore_changes に desired_count を含むしない
stop-task / task 置換task は TF 管理対象外しない
Secret put-secret-valueaws_secretsmanager_secret_version が TF に存在しない(値は IaC 管理外)しない
suspended_state を trueTF に宣言なし不確実(復元で消えるため実害なし)

ドリフトが残ること自体より、作業中に apply されることが問題(④ の凍結で塞ぐ)。⑭ の復元(保存 JSON との diff ゼロ判定)を完了すればドリフトは解消する。TF ドリフトを一切出したくない場合は ⑲ の代替案(10台のまま方式)を検討する。

bash
$AWS application-autoscaling describe-scalable-targets --service-namespace ecs --resource-ids "$RID" > "$WORK/aas_target_before.json"
$AWS application-autoscaling describe-scaling-policies  --service-namespace ecs --resource-id  "$RID" > "$WORK/aas_policies_before.json"
$AWS application-autoscaling describe-scheduled-actions --service-namespace ecs --resource-id  "$RID" > "$WORK/aas_scheduled_before.json"
$AWS ecs describe-services --cluster "$CLUSTER" --services "$SERVICE" > "$WORK/ecs_service_before.json"
# ★保存が空なら絶対に先へ進まない
test "$(jq -r '.ScalableTargets|length' "$WORK/aas_target_before.json")" -eq 1 || { echo "FATAL: ScalableTarget が1件でない。中止"; exit 1; }
# 復元用スケルトンを「保存時点で」生成する(作業後に作らない)
jq '{ServiceNamespace:"ecs",
     ResourceId:        .ScalableTargets[0].ResourceId,
     ScalableDimension: .ScalableTargets[0].ScalableDimension,
     MinCapacity:       .ScalableTargets[0].MinCapacity,
     MaxCapacity:       .ScalableTargets[0].MaxCapacity,
     SuspendedState:    .ScalableTargets[0].SuspendedState}' \
  "$WORK/aas_target_before.json" > "$WORK/aas_restore.json"
cat "$WORK/aas_restore.json"

# ★作業前の desiredCount も控える(⑭ の復元で明示的に戻すため・Auto Scaling は縮退させない)
jq -r '.services[0].desiredCount' "$WORK/ecs_service_before.json" > "$WORK/desired_before.txt"
echo "desiredCount(before) = $(cat "$WORK/desired_before.txt")"

⑦ OLD_TASKS と Secret バージョンの保存(★Secret 変更の「前」に必ず)

bash
oo_tasks > "$WORK/old_tasks.txt" ; chmod 444 "$WORK/old_tasks.txt"
test "$(wc -l < "$WORK/old_tasks.txt" | tr -d ' ')" -eq 10 || { echo "FATAL: OLD_TASKS が10件でない。中止"; exit 1; }
cp "$WORK/old_tasks.txt" "$WORK/old_remaining.txt" ; cat "$WORK/old_tasks.txt"
# rollback 用に現 AWSCURRENT を控える(URL を手打ちしないため)
$AWS secretsmanager describe-secret --secret-id online-ops-service --query 'VersionIdsToStages' > "$WORK/secret_versions_before.json"
jq -r 'to_entries[] | select(.value[]=="AWSCURRENT") | .key' "$WORK/secret_versions_before.json" > "$WORK/secret_prev_version.txt"
echo "AWSCURRENT(before) = $(cat "$WORK/secret_prev_version.txt")"
# worker の task ARN を控える(Secret 共有のため、作業中の不意の再起動を検知する)
$AWS ecs list-tasks --cluster "$CLUSTER" --service-name "$WORKER" --desired-status RUNNING \
  --query 'taskArns[]' --output text > "$WORK/worker_task_before.txt" ; cat "$WORK/worker_task_before.txt"

⑧ 事前 db6 疎通確認(既存スクリプトで read-only・reroute 開始の Go 前提)pg16-verify-fastdoctor-manager.sh を db6 対象で実行する。踏み台 i-0f44005c3f7259513 → SSM port-forward → db6、接続は sslmode=require + SET default_transaction_read_only=on(write 不可)。

bash
cd docs/sre/scripts   # terraform_for_aws ルートから
bash pg16-verify-fastdoctor-manager.sh --env production --db-id fastdoctor-manager-db6 --label pre --skip-counts
  • ★--skip-counts を必ず付ける。付けないと 2b) で全テーブルを exact count する(スクリプト注記どおり大 DB では重い)。db6 は約 274GiB・max_standby_streaming_delay=30s なので、長い集計は打ち切られるうえに db6 へ無用な負荷をかける。件数は reroute の判定に使わない。
  • 🛑 db6 では 4)「シーケンス継続性」が canceling statement due to conflict with recovery で打ち切られ、スクリプトはそこで終了する(2026-10-20 本番実測)。これは正常で、NO-GO にしない。
    == [production/pre] 4) ★シーケンス継続性(read-only・seq vs max(id))==
    ERROR:  canceling statement due to conflict with recovery
    DETAIL:  User query might have needed to see row versions that must be removed.
    CONTEXT:  SQL statement "SELECT max(id) c FROM public.receptions"
    1. は全テーブルの max(id) を 1 本の長いクエリで順に取るため 30 秒を超え、WAL 適用と衝突した時点で db6 に打ち切られる(=30 秒予算が設計どおり効いている証拠)。4) は Switchover 後に Primary で使う確認で、replica の疎通確認には不要。⑧ の合否は 1) version / 2) read プローブ / 3) 接続元 で判定する(2026-10-20 実測: 12.22 / schema_migrations 799 件 / rdsadmin ×2 のみ)。
    • 打ち切られるのは確認用の psql セッションだけで、online-ops には影響しない。fdsys-replica-query-canceled monitor も online-ops のログで判定するので鳴らない。
    • ⚠️ db6 上で重い調査クエリ(全件集計・長時間の結合など)を流さない。30 秒を超えると打ち切られる。調査は db1(短時間に限る)か db5 で行う。
  • ★fastdoctor-manager は全 consumer が単一ユーザー fdadmin(secret fdm_system)で接続するため、本スクリプトの db6 接続は online-ops の FDSYS_DATABASE_URL(同一 fdadmin)を代表する(online-ops の secret を手で扱う必要なし)。
  • これで 踏み台(online-ops VPC)→db6 の route + SSL + fdadmin 認証 + read-only クエリ成立を確認。全て read-only で本番影響なし。
  • 接続不可/認証 NG など失敗が出たら reroute を開始しない。
  • 🛑 --db-id に replica を渡すと ① 自VPC アプリ の判定が誤 ❌ になる(2026-10-07 staging で実測)。スクリプトは --db-id が primary 前提で「Rails(puma/sidekiq) が再接続しているか」を必須チェックにしているが、replica(db6 / staging は fd-system-1)に Rails が居ないのは正常。
    ❌ 再接続未確認: ① 自VPC アプリ fd-system-cluster/踏み台/Retool(★接続0=表に不在)
    → この ❌ は無視する。 見るべきは ② peered online-ops の判定と、§1/§2/§4/§6(version / read プローブ / シーケンス / writability)。スクリプト側の修正は別途実施。

★この事前確認は踏み台経由=代理(online-ops ECS タスク実体の接続ではない)。代理の妥当性(2026-10 実機確認):db6 への到達可否は db6 SG の allowlist(online-ops NAT の public IP 3.113.154.169/18.178.147.64・両 AZ 分)で決まり task SG には依存しない/DB 認証は fdadmin の password(task-role IAM ではない)。literal な「API タスク → db6」は ⑩ の ALB target healthy(=onModuleInit が db6 へ実クエリ成功した証明。後述)で担保する。

⑨ Secret 更新(FDSYS_DATABASE_URL を db4→db6・FDSYS_US_REPLICA_DATABASE_URL を db3→db6・FDSYS_PRIMARY_DATABASE_URL(db1) は不変・値非出力)

★実行直前に §0-7 のガード 1(db6 の max_standby_streaming_delay = 30s・ReplicaLag 30 秒以内)を確認する。

bash
export AWS_PROFILE=production-admin ; R=ap-northeast-1
SECRET_ID=online-ops-service
DB6=$(cat /tmp/oo_db6/db6_endpoint.txt)     # ⓪-c で保存した値(手打ちしない)
case "$DB6" in fastdoctor-manager-db6.*.us-east-1.rds.amazonaws.com) echo "DB6=$DB6" ;; *) echo "FATAL: db6 endpoint が不正。中止"; exit 1 ;; esac
TMP=$(mktemp) ; chmod 600 "$TMP"
aws secretsmanager get-secret-value --region $R --secret-id "$SECRET_ID" --query SecretString --output text \
| DB6="$DB6" python3 -c 'import sys,json,os
from urllib.parse import urlparse,urlunparse
d=json.load(sys.stdin); u=urlparse(d["FDSYS_DATABASE_URL"]); assert u.hostname
assert u.hostname.startswith("fastdoctor-manager-db4."), "現行の FDSYS_DATABASE_URL が db4 ではない。前提が変わっているので中止"
us=urlparse(d["FDSYS_US_REPLICA_DATABASE_URL"]); assert us.hostname
assert us.hostname.startswith("fastdoctor-manager-db3."), "現行の FDSYS_US_REPLICA_DATABASE_URL が db3 ではない。前提が変わっているので中止"
primary_before=d["FDSYS_PRIMARY_DATABASE_URL"]
d["FDSYS_DATABASE_URL"]=urlunparse(u._replace(netloc=u.netloc.replace(u.hostname,os.environ["DB6"])))
# マイナ導線(§0-7)。host だけを db6 に置き換える(ユーザー・パスワード・DB 名は現行値を保持)
d["FDSYS_US_REPLICA_DATABASE_URL"]=urlunparse(us._replace(netloc=us.netloc.replace(us.hostname,os.environ["DB6"])))
assert d["FDSYS_PRIMARY_DATABASE_URL"]==primary_before, "PRIMARY が変化した。中止"
print(json.dumps(d))' > "$TMP"
NEW_VER=$(aws secretsmanager put-secret-value --region $R --secret-id "$SECRET_ID" --secret-string file://"$TMP" --query VersionId --output text) ; rm -f "$TMP"
echo "$NEW_VER" > /tmp/oo_db6/secret_new_version.txt ; echo "AWSCURRENT(after) = $NEW_VER"
# 確認(ホスト名のみ出力。replica=db6 / primary=db1 / us-replica=db6)
aws secretsmanager get-secret-value --region $R --secret-id "$SECRET_ID" --query SecretString --output text \
| python3 -c "import sys,json;from urllib.parse import urlparse as u;d=json.load(sys.stdin);[print(k,'=',u(d[k]).hostname) for k in ['FDSYS_DATABASE_URL','FDSYS_PRIMARY_DATABASE_URL','FDSYS_US_REPLICA_DATABASE_URL']]"

この時点で 稼働中の10台と worker は db4 のまま(valueFrom は task 起動時にのみ解決される)。worker はここでは触らない=現状維持。

⑩ Auto Scaling を 11/11 へ固定 → 11台目の確認

bash
jq '.MinCapacity=11 | .MaxCapacity=11
    | .SuspendedState.DynamicScalingInSuspended=true
    | .SuspendedState.DynamicScalingOutSuspended=true' \
  "$WORK/aas_restore.json" > "$WORK/aas_work11.json"
$AWS application-autoscaling register-scalable-target --cli-input-json "file://$WORK/aas_work11.json"
$AWS application-autoscaling describe-scalable-targets --service-namespace ecs --resource-ids "$RID" \
  --query 'ScalableTargets[0].{min:MinCapacity,max:MaxCapacity,susp:SuspendedState}'
# MinCapacity 引上げで Application Auto Scaling が最小容量までスケールアウトするが、反映を待たず明示する(max=11 なので超過しない)
$AWS ecs update-service --cluster "$CLUSTER" --service "$SERVICE" --desired-count 11 >/dev/null

oo_wait_healthy "$TG" 11 900 || { echo "❌ 11/11 healthy にならない → NO-GO"; exit 1; }
oo_tasks > "$WORK/cur.txt"
diff_not_in "$WORK/old_tasks.txt" "$WORK/cur.txt" > "$WORK/new_tasks.txt"
test "$(wc -l < "$WORK/new_tasks.txt" | tr -d ' ')" -eq 1 || { echo "❌ 新 task が1件でない → NO-GO"; cat "$WORK/new_tasks.txt"; exit 1; }
NEW1=$(cat "$WORK/new_tasks.txt") ; NEW1_IP=$(oo_task_ip "$NEW1")
echo "新task: $NEW1 / ip=$NEW1_IP" ; oo_task_info "$NEW1"      # taskDefinition が現行リビジョンであること
oo_tg_states "$TG" | grep -F "$NEW1_IP"
oo_events 10

★ALB target healthy = db6 疎通の構造的保証(2026-10-07 コード確認)。/healthz は health.check([]) で何も検査しないが、KyselyReplicaFdsysService.onModuleInit() が SELECT id FROM doctors LIMIT 1 を、PrismaFdsysService.onModuleInit() が $connect() を app.listen() より前に FDSYS_DATABASE_URL に対して実行する。失敗すれば bootstrap が reject してプロセスが落ち、ポート3000が開かない=TG healthy に絶対ならない。⇒ healthy になった task は db6 に接続して実クエリに成功している。ただし保証されるのは起動時点のみで、継続疎通・プール枯渇・レイテンシ許容性は別途監視する。

⑪ 補助証拠(★単一指標を決定的証拠にしない)

  • db6 の DatabaseConnections が 0 → >0(db6 は新規で consumer が居ないので増分がそのまま見える)。worker はまだ db4 なので この時点の db6 接続は API に帰属できる。
  • deep-health(mental-online-karte #20299 = 2026-10-07 本番稼働中): GET /health/dependencies(X-FD-Health-Token 必須)の checks[] に fdsys-replica が入る。既存の Datadog 外形監視(Private Location → internal ALB:80 → monitor deep-health / online-ops-service / degraded|unhealthy (prd) → webhook で capture Synthetic が checks[] を保存)がそのまま fdsys 疎通の継続監視になる。
    • ★checks[].latencyMs が db4/db6 の判別子になる(db4≈12ms / db6≈150ms で10倍以上離れる)。capture Synthetic を on-demand 実行し、fdsys-replica.latencyMs > 100ms の応答比率が 1/11 → 11/11 へ推移することで置換の進捗を確認できる。
    • ⚠️ fdsys-replica の criticality は degraded(overall=degraded・HTTP 200)。ALB からは切り離されないし、degraded monitor は >= 2 over last_10m なので即時発報ではない。「自動で守る仕組み」ではなく「見張る仕組み」として扱う。
    • ⚠️ HTTP レスポンスには task 識別子が無い(overall/service/generatedAt/durationMs/checks のみ)。ALB は round_robin なので特定 task を名指しで叩けない(ALB:80 の許可は datadog-probe-prd / datadog-probe-prd-pl-worker / online-karte-service / online-doctor-service / fd-partner-api / autocall-callback-lambda / main-worker / chronic-api のみで踏み台 SG は含まれない)。
    • ★per-task の判定は ⑪-c(APM)を主、⑪-b(Datadog Logs)を副とする。 どちらも monitor の新設を必要としないので、monitor 整備は当日のブロッカーにしない。

🛑 overall を GO/NO-GO の判定に使ってはいけない(★絶対ルール)

deep-health の overall は 本番で恒常的に degraded である。原因は appointment-db(mental-appointment cluster / cluster-ro)が per-check timeout 2,000ms に毎回ヒットしているため。

実測(2026-10-08)値
deep health overall=degraded の warn ログ7日間 41,832 件
その内訳appointment-db 単独(latencyMs: 2000〜2002 / detail: "timeout")
HEALTH_CHECK_TIMEOUT_MS の既定2000(=APM の duration が 2.004s に張り付く正体)
fdsys-replica が down と記録された件数7日間 0 件(=fdsys 側のベースラインはクリーン)
HTTP ステータス200(fdsys-replica / appointment-db とも criticality=degraded のため 503 にならない)

⇒ overall != ok を NO-GO 条件にすると常時 NO-GOになり、逆に overall の変化を待つと db6 の障害を見逃す。 ⇒ 判定は必ず checks[] の中の name で切り出す(⑪-b の「当日使うクエリ」②〜④)。 ⇒ appointment-db の慢性 timeout は #20434 で追跡。本作業の前提条件にはしない(判定を name ベースにしてあるため影響しない)。

⑪-b Datadog Logs による per-task の疎通判定(#20299 本番稼働中=無条件で使える・追加実装ゼロ)

アプリは overall が ok でないときに 落ちたチェックだけ を warn ログに出す。

ts
// deep-health.service.ts
this.logger.warn(`deep health overall=${overall}: ${JSON.stringify(
  checks.filter((c) => c.status !== 'ok'),   // ★ok のチェックは載らない
)}`);

実ログには task_arn タグが付くので、どの task が落ちているかを一意に特定できる。

yaml
message: 'deep health overall=degraded: [{"type":"db-reader","name":"appointment-db","status":"down",...}]'
service: online-ops-service
tags:
  - task_arn:online-ops-service-cluster/4d6e95bfa32a4124a64dde37c696eb1f   # ★task を一意特定
  - task_version:192
  - cluster_name:online-ops-service-cluster

判定ルール

ログ行の中身その task の fdsys 疎通
fdsys-replica が含まれるNG(確定)
行は出ているが fdsys-replica が含まれないOK(確定。ok のチェックは載らないため)
行が全く出ない不明(overall=ok で全部正常か、そもそも叩かれていないかを区別できない)

⚠️ 「行が出ている」ことの前提は appointment-db の恒常 degraded に依存している。 2026-10-08 実測で appointment-db が常時 timeout(直近7日 41,832件・2026-09-23 以前から継続・latencyMs 2000〜2002 / detail: "timeout")のため 全 task が常時ログを出し続ける(直近6時間 1,248件 ≒ 3.5件/分。10台に分散して1台あたり約3分に1回)=ハートビートとして使える。 appointment-db が解消すると overall=ok になりログが止まるため、「行が出ない=不明」の行が増えてこの判定法の感度が落ちる。 その時点で per-check monitor へ切り替えること(→ #20434)。 ★ただし NG 判定(fdsys-replica を含む行が出る)は appointment-db の状態に依存しない。fdsys-replica が down なら必ず行が出る。NO-GO トリガとしての信頼性は維持される。

当日使うクエリ

# ① 新 task(11台目)の疎通を陽性確認 — 行が出て fdsys-replica を含まなければ OK(約3分以内に初出の想定)
service:online-ops-service "deep health overall=" task_arn:"online-ops-service-cluster/<NEW_TASK_ID>"

# ② fdsys-replica(db4→db6) が落ちている task を全体から検出 — ★これが NO-GO トリガ。0件であること
service:online-ops-service "deep health overall=" "fdsys-replica"

# ③ ★FDSYS_PRIMARY(db1) を壊していないことの確認 — 全工程で 0件であること
service:online-ops-service "deep health overall=" "fdsys-primary"

# ④ FDSYS_US_REPLICA(db3→db6・マイナ導線)が落ちていないことの確認 — 0件であること
service:online-ops-service "deep health overall=" "fdsys-us-replica"

# ⑤ 進捗の俯瞰 — ② を task_arn で group by し、該当ゼロのまま推移することを確認

🛑 必ずハイフン込みのフルネームで検索すること。 "replica" 単体は 自前DB(replica) / fdsys-replica / fdsys-us-replica のすべてにマッチして誤爆する。

❌ "replica"           → 自前DB・fdsys・fdsys-us すべてにマッチ
✅ "fdsys-replica"     → db4/db6 のみ
✅ "fdsys-us-replica"  → マイナ導線の読み先のみ(置換前の task=db3 / 置換後=db6)
✅ "fdsys-primary"     → db1 のみ

★方式の妥当性は #20299 のマージ前に既存 DB チェックで実証済み(2026-10-07・直近7日)

検証項目クエリ結果示していること
正常な DB はログに出ない"deep health overall=unhealthy"0件online-ops 自前 Aurora writer(primary・critical) は7日間一度も down していない
同上"deep health overall=" "replica"0件自前 Aurora reader(replica) も同様 ⇒ 「行は出ているがその名前が無い=ok」が実際に成立している
異常な DB は確実に出る"deep health overall=" "appointment-db"41,726件fdsys-replica と同じ db-reader/degraded のチェックが名前で一意に切り出せる
per-task 絞り込み... task_arn:"online-ops-service-cluster/4d6e95bf…"58件 / 3時間1台分だけに絞れる(≒3分に1回=新 task は約3分以内に初出)
部分一致で誤爆しない"eligibility-service"0件非連続2トークンのフレーズは3トークン名にマッチしない
同上(対照)"eligibility-verification-service"63件41,726件から 0.15% を正確に切り出せている。fdsys-replica vs fdsys-us-replica と同じ形
共起しても切り出せる—実例確認済[{"name":"appointment-db",…},{"name":"eligibility-verification-service",…}] のように複数 down が1行に併記されても個別クエリで拾える

⚠️ latencyMs はログからは取れない(ok のチェックが載らないため)。db4/db6 の判別が必要なら capture Synthetic を on-demand 実行して checks[] 全体を読む。ただし task_arn を OLD_TASKS リストと突合すれば置換状況は確定するので、通常は latencyMs 無しで足りる。

  • ⚠️ pg_stat_activity.client_addr で consumer を帰属することはできない(2026-10-07 実測)。online-ops-service-service / online-ops-service-main-worker / fd-redash-service が同一サブネット(subnet-0d8d1b1c836052779 / subnet-0f8e6152af75fcaad)で動き、同じ NAT(3.113.154.169 / 18.178.147.64)から出る。さらに API と worker は同一 secret キーを読むため接続文字列が同一で、application_name はコード・URL とも未設定で空。⇒ DB 側で API/worker/Redash を区別できない。pg_stat_activity は補助証拠に留める。

⑪-c ★Datadog APM による per-task × per-DB の直接検証(最強の証拠・#20299 不要)

APM の DB span は 接続先 DB ホスト名(peer.hostname)と task_arn を両方持つ(2026-10-07 実機確認)。これにより「どの task が・どの DB に・どのクエリを投げて・何 ms かかったか」が APM だけで確定する。deep-health の SELECT 1 より強い(実業務クエリそのもので、latency・error・接続先 DB・task が同時に取れる)。

yaml
operationname: pg.query
service: fastdoctor-jp/online-ops-service-postgres
custom:
  peer.hostname: fastdoctor-manager-db4.ctd3i54nlyjp.ap-northeast-3.rds.amazonaws.com   # ★接続先 DB
  db.instance:   fastdoctor_manager_production
  db.user:       fdadmin
tags:
  - task_arn:arn:aws:ecs:ap-northeast-1:967691968827:task/online-ops-service-cluster/f5f080dd…  # ★task
  - task_version:192
  - ecs_service:online-ops-service-service

実測(2026-10-07): @peer.hostname:fastdoctor-manager-db4* が 388件/1時間、task_arn:* を AND しても 1,362件/3時間 ヒット(=DB span にも task タグが付いている)。graphql.execute span も全件 task_arn 付き。

当日使うクエリ

# ① 新 task が db6 を読んでいることの直接証拠(★これが最強。1台の時点で確定判定できる)
service:fastdoctor-jp/online-ops-service-postgres
  @peer.hostname:fastdoctor-manager-db6*
  task_arn:"arn:aws:ecs:ap-northeast-1:967691968827:task/online-ops-service-cluster/<NEW_TASK_ID>"

# ② 置換の進捗(db4 が減り db6 が増える)
service:fastdoctor-jp/online-ops-service-postgres @peer.hostname:fastdoctor-manager-db4*   # 全件 → 0 へ
service:fastdoctor-jp/online-ops-service-postgres @peer.hostname:fastdoctor-manager-db6*   # 0 → 全件へ

# ③ ★FDSYS_PRIMARY(db1) を壊していない証拠(件数が不変であること)
service:fastdoctor-jp/online-ops-service-postgres @peer.hostname:fastdoctor-manager-db1*
#    FDSYS_US_REPLICA(マイナ導線)は db3 → db6 へ移るので、db3 向けは「不変」ではなく「0 へ減る」が正(§0-7)
service:fastdoctor-jp/online-ops-service-postgres @peer.hostname:fastdoctor-manager-db3*   # 全件 → 0 へ


# ④ レイテンシ変化を span 単位で直接測る(db4 ≈12ms → db6 ≈150ms。@duration は★ナノ秒指定)
service:fastdoctor-jp/online-ops-service-postgres @peer.hostname:fastdoctor-manager-db6* @duration:>100000000

# ⑤ db6 向けクエリのエラー
service:fastdoctor-jp/online-ops-service-postgres status:error @peer.hostname:fastdoctor-manager-db6*

# ⑥ マイナ導線が db6 を読んでいることの陽性確認(us-replica 側は起動時プローブが無く ALB healthy では証明できない)
#    ⚠️ `home_visit_token` は待ち時間表示(FDSYS_DATABASE_URL 側)のクエリでも使うので、pg span の resource だけでは区別できない。
#    → マイナ導線の GraphQL 操作のトレースを開き、その下の pg.query span の peer.hostname が db6 であることを見る
#      (リソース名は 2026-10-19 に APM で実在を確認。7 日の件数: PmpMynaLatestEvent 4,949 / RecordMynaConsentResult 1,394 /
#        PmpMynaRedirectInfo 1,131 / StartMynaVerification 528 = 1 日に数百件あるので、置換中に確認できる)
service:fastdoctor-jp/online-ops-service resource_name:(*PmpMynaRedirectInfo* OR *StartMynaVerification* OR *RecordMynaConsentResult* OR *PmpMynaLatestEvent*)
#    該当トレースが出ない時間帯は、③(db3 向けが 0 へ減る)と ⑪-b ④(deep-health の fdsys-us-replica が down 0 件。
#    deep-health は us-replica へ SELECT 1 を打つ)で判断する

# ⑦ ★読み先の分裂の検知(§0-7・非サンプリングのログ。1 件でも出たら NO-GO)
service:online-ops-service "Karte not found for homeVisitToken"

🛑 staging では本節(APM 判定)が使えない。 staging と production は Datadog の別 org(org 名「FD - ステージング」)で、prod org には staging のデータが存在しない(2026-10-07 に @peer.hostname:fd-system* を3時間検索して 0件を確認)。staging の代替手段は次の2つ。

  • per-task deep-health(#20299 適用後): task SG に踏み台 SG からの 3000 番を許可し、task の private IP を直接叩く。checks[].fdsys-replica が per-task で取れる
  • pg_stat_activity.client_addr: staging は private peering 経路のため 送信元が task の private IP そのまま。本番(同一 NAT に集約)より per-task 判定が容易

⚠️ 無トラフィック帯(深夜等)に作業する場合は span が発生しない。 その場合は差配UI https://online-karte.fstdr.jp/ops/doctor-assignment(待ち時間/人数=常に fdsys replica)を手動で数回操作して span を誘発してから ① を確認する。ALB は round_robin なので、新 task に当たるまで数回の操作が要る(11台中1台なら 1回あたり約9%)。

証拠の優先順位(#20299 本番稼働中=全手段が利用可能)

順位手段per-taskサンプリング何を証明するか
1APM pg.query の peer.hostname + task_arn(⑪-c)可⚠️ されるその task が db6 に実業務クエリを投げ、何 ms で成功したか
2Datadog Logs の deep-health per-task 判定(⑪-b)可されないfdsys チェックが継続的に ok か(NG 検知はこちらが確実)
3ALB target healthy(⑩)可—起動時点の db6 疎通(onModuleInit の実クエリ成功)
4db6 の DatabaseConnections 0 → >0(⑪)不可—VPC から db6 への接続成立(帰属は時系列推定)
5pg_stat_activity(⑪)不可—補助のみ(client_addr で consumer を帰属できない)

★順位1(APM)と順位2(Logs)は役割が違う。両方使う。

APM(⑪-c)Logs(⑪-b)
「db6 を読んでいる」の陽性証明◎ 最強(実業務クエリ・latency 付き)△(ok は記録されない)
「fdsys が壊れた」の陰性検知△ サンプリングで取り逃す◎ 非サンプリング=確実

⚠️ APM はサンプリングされる。 実測(2026-10-08): db4 への deep-health probe (SELECT ?) は 3時間で 5 span しか残っていない(health check 自体は約66回実行)。diversity_sampling / flat_sampled / retention_filter による間引き。 ⇒ 「ある task に db6 span が無い」は「その task が db6 を使っていない」証明にならない。 陽性確認は実業務クエリ span(db4 には3時間で約1,000 span ある)で行う。 ⇒ 逆に deep-health の warn ログは非サンプリング(7日41,832件がそのまま出ている)なので、fdsys-replica down の検知はログ側が確実。

⑪-d 影響範囲(db4/db6 を読むコード経路)と、span 誘発に使う ops UI

✅ db4 の consumer は実測で確定している(2026-10-08)。Rails アプリは無関係。

APM 24h の peer.hostname × service 実測

DBサービスspans
db1pg(= Rails 本体。task_arn が fastdoctor-manager-us-prd)1,995,271
db1online-ops-service / -postgres89,907
db1online-ops-service-main-worker / -postgres999
db4online-ops-service / -postgres13,349
db4online-ops-service-main-worker / -postgres493
db3online-ops-service / -postgres1,865
db5—0

db4 の pg_stat_activity 実測(2026-10-08 15:28 JST・稼働中): client backend 38本のうち 18.178.147.64 ×19 / 3.113.154.169 ×18 / local ×2(rdsadmin)= 100% が fd-platform 東京 NAT の2本。 Trocco ×5 / Retool SaaS ×3 / 35.72.133.204 からの接続は 0。

タスク定義の確認: fastdoctor-manager-us-prd(us-east-1)の稼働中7サービスは全て db1 のみを参照(replica 用の環境変数が存在しない)。 東京の fd-system-cluster(7サービス)と fastdoctor-manager-prd(5サービス)は全て desired=0/running=0 で停止中、かつ fd-system-cluster の参照先 fd-system.cqxuutmfzket.ap-northeast-1.rds.amazonaws.com は ap-northeast-1 に実在しない(役目を終えたクラスタ)。

⇒ 本作業の影響範囲は online-ops-service + online-ops-service-main-worker + Redash(APM 未計装)に限定される。 ⇒ Rails アプリ(fastdoctor-manager 7サービス・24 task)の停止・再起動・凍結は不要。 ⇒ online-ops-service-main-worker も db4 を読んでいることが ⑬(worker 切替)の必要性の根拠。

🛑 本節は 2026-10-07 に全面訂正した。 旧版は「db4/db5 を読む ops UI は /ops/doctor-assignment と /ops/prescriptions」としていたが、/ops/doctor-assignment は db4 を読まない(後述)。また db4 を読む経路は処方箋以外にも存在する。

① 影響範囲の洗い出し方法(再現可能)

KyselyReplicaFdsysService / PrismaFdsysService(=FDSYS_DATABASE_URL)を使うクラスから resolver まで逆依存を機械的に辿った(API 2,334ファイル対象)。結果は 種ファイル 17件 → resolver/controller 25件に到達。

② 無条件に db4/db6 を読む経路(=確実に +138ms の影響を受ける)

コード使い方露出する operation / 画面
doctor-assignment/queries/wait-count.query-service.tsuseFdsysReplica: true ハードコード(L131)medicalExaminationWaitTime
★患者カルテ側(@skipAuth)。ops 画面ではない
pharmacy/queries/prescription-submission-v2.query-service.tsresolver が { useReplica: true } 固定(prescription-submission.resolver.ts:110)prescriptionSubmissionsV2
→ /ops/prescriptions(一覧)
pharmacy/repositories/fdsys-db.repository.tsthis.kyselyReplicaFdsys.database(L150/L219)配送薬局の解決
medical-examination/query/medical-examinations-v2.query-service.tsconst db = this.kyselyReplica.database(L35)medicalExaminationsV2
※is:ServiceAccount 向け。ops front からは未使用
e-prescription-issuance/repositories/medical-institution-code.repository.ts同上(L36)電子処方箋の発行経路
appointment/queries/patient-examination-history.read-repository.tsconstructor(private readonly kysely: KyselyReplicaFdsysService) + .database ×3patientExaminationHistories / patientHomeExaminations
patient-insurance/queries/patient-insurance-detail.read-repository.tsconst db = this.kyselyFdsys.database(L120/L183)patientInsuranceDetail
data-lab/repositories/data-lab-{doctor,examination}.repository.tsthis.fdsys.databasedata-lab 系
appointment/workers/*(4ファイル)/doctor-slot-delay-detection.job.ts—worker 側(API ではない)

③ フラグ依存(呼び出し元次第で db1 か db4/db6 が変わる)

コード分岐実態
doctor-assignment/repositories/sahai-lanes-read.repository.ts(L612/1046/1100/1270/1308)
doctor-assignment/repositories/sahai-lanes.repository.ts(L579)
options?.useFdsysReplica ? kyselyReplica : kyselyPrimary★sahaiLanes では常に db1。フラグは filter?.useFdsysReplica から来るが、LaneFilterOptionsInput にそのフィールドが存在しない(schedulesByTimeWindow / isActiveLane / limit のみ)し front も送っていない(grep 0件)。⇒ /ops/doctor-assignment は db4 を読まない
doctor-assignment/dataloaders/medical-examination.dataloader.ts(L26-29)options?.useReplicamedical-examinations-v2(L88) / e-prescription-exchange-number(L64) / pharmacy.query-service(L923) / prescription-auto-issue(L109) が true を渡す
pharmacy/queries/prescription-submission-v2.query-service.ts(L420/498/676)options?.useReplicaresolver が常に true ⇒ 実質無条件(②に再掲)

★コードだけで「読む/読まない」を断定しない。 フラグ分岐・DataLoader 経由・呼び出し元依存があるため、到達=実使用ではない。最終判定は ⑪-c の APM(@peer.hostname)で行う。

実際、APM で観測された db4 クエリは 処方箋系と待ち時間系(where me.home_visit_token = ?) の2系統で、上表②の該当2件と一致した(2026-10-07 実測)。

④ ★患者向け経路への影響(見落としやすい)

medicalExaminationWaitTime(待ち時間表示)は useFdsysReplica: true ハードコードで、患者カルテ側から @skipAuth で呼ばれる。ops 画面には出ないが、reroute すると患者が見る待ち時間表示に +138ms が乗る。⑮ の監視対象に含めること。

⑤ span を誘発するための ops UI 操作(無トラフィック帯の作業時)

ops UI は Next.js の basePath: "/ops"(projects/online-ops-service/app/next.config.ts)。ベース URL は https://online-karte.fstdr.jp/ops。閲覧のみで write を伴わない操作で行う。

使う画面:/ops/prescriptions(処方箋一覧)。useReplica: true がハードコードされているため条件を問わず db4/db6 を読む。

1. https://online-karte.fstdr.jp/ops/prescriptions を開く
2. ★「提出から10分以内の案件も表示」に ✅ を入れる
     (OFF だと kartes.submitted_at <= now()-10分 で直近案件が落ちる)
3. ★ステータスは「未対応」を選択したまま、必要なら「完了」等を追加する
     (「完了」単独にすると必ず失敗する。理由は下記)
4. 案件番号を入れて検索(例は当日の実データから取得する。下記 SQL 参照)
5. 1件表示されれば db4/db6 からの実データ取得まで到達

🛑 既知バグ(#20313):ステータス「完了」の単独指定は必ず失敗する。queryReceptionCodesByStatuses が LIMIT なしで PrescriptionState の receptionCode を全件取得し r.code IN (...) に展開するため、バインドパラメータ数が int16(65,535)を超過して bind message has 56483 parameter formats but 0 parameters → Failed to count FDsys prescription data になる(本番 COMPLETED = 318,619件)。 案件番号を指定しても prefetch は絞られないため回避できない。 「未対応」を含めると includesPending=true となり IN 句が使われないので回避できる。 ★reroute 後にこれを見て「reroute が原因」と誤認しないこと。 db6 に移しても同じ数のパラメータを送るため直らない。

当日の案件番号を取得する SQL(踏み台経由・read-only)

sql
SET default_transaction_read_only = on;
SELECT r.code, m.business_date, m.state, k.submitted_at
FROM receptions r
  JOIN medical_examinations m  ON m.reception_id = r.id
  JOIN patient_receptions   pr ON pr.reception_id = r.id
  JOIN kartes               k  ON k.patient_reception_id = pr.id
  JOIN medical_examination_schedules mes ON mes.medical_examination_id = m.id AND mes.main IS TRUE
WHERE m.type = 'MedicalExaminations::Online'
  AND m.state IN (80,82,83)          -- 80=診察完了 / 82=医師入力済 / 83=締め済
  AND r.reservation_method <> 14     -- SmartER 除外
  AND k.outside_prescription IS TRUE
  AND k.submitted_at IS NOT NULL
  AND k.submitted_at <= now() - interval '10 minutes'
  AND m.business_date >= current_date - 4
ORDER BY mes.schedule_end_at DESC LIMIT 8;

⚠️ UI の表示件数を疎通判定に使わない。 0件でも「業務フィルタで落ちた」だけのことが多く、db 疎通とは別問題。判定は必ず ⑪-c の APM で行う。

⚠️ マイナ導線(FDSYS_US_REPLICA_DATABASE_URL・db3→db6)は ops UI から確認できない。 FdsysReadDatabase 経由の呼び出し元は pmp/resolvers/public-pmp.resolver.ts(患者向けマイナ導線・@skipAuth)のみ。確認は ⑪-c ③⑥⑦ と ⑪-b ④ で行う(§0-7)。

実証済みの対応付け(2026-10-07・APM トレース 6ac5e1330000000056cb580dd45d89f8)

POST /graphql (online-ops-service)
  └ prescriptionSubmissionsV2                                   ← /ops/prescriptions
      └ pg.query  peer.hostname: fastdoctor-manager-db4…ap-northeast-3   ← ★db4 を実際に読んでいる

⑫ 5分観測 → 旧 task を 1 台ずつ置換

bash
while [ -s "$WORK/old_remaining.txt" ]; do
  TARGET=$(head -1 "$WORK/old_remaining.txt")
  echo "=== stop: $TARGET (ip=$(oo_task_ip "$TARGET")) 残り $(wc -l < "$WORK/old_remaining.txt" | tr -d ' ') 台 ==="
  $AWS ecs stop-task --cluster "$CLUSTER" --task "$TARGET" --reason "fdsys db4->db6 reroute: staged task refresh" >/dev/null
  { grep -vxF "$TARGET" "$WORK/old_remaining.txt" || true; } > "$WORK/_t" && mv "$WORK/_t" "$WORK/old_remaining.txt"

  oo_wait_healthy "$TG" 11 900 || { echo "❌ replacement が healthy にならない → NO-GO。これ以上 stop しない"; exit 1; }

  # worker が意図せず再起動していないか(Secret 共有のため)
  $AWS ecs list-tasks --cluster "$CLUSTER" --service-name "$WORKER" --desired-status RUNNING \
    --query 'taskArns[]' --output text > "$WORK/worker_task_now.txt"
  diff "$WORK/worker_task_before.txt" "$WORK/worker_task_now.txt" \
    && echo "   worker 不変 OK" || echo "   ⚠️ worker が再起動した(=db6 へ移動済み)。以降の帰属判断に注意"

  oo_events 5
  echo "   -> 60秒観測" ; sleep 60
done
echo "✅ 全 OLD task 置換完了"
oo_tasks > "$WORK/cur_final.txt"
echo "OLD 残存: $(grep -xF -f "$WORK/old_tasks.txt" "$WORK/cur_final.txt" | wc -l | tr -d ' ') 台 (0 が正)"

⚠️ RUNNING になっただけで次へ進まない。health check は interval 40s / healthy 3 のため healthy まで最短約120秒、unhealthy 検知は最大約400秒かかる。RUNNING + ALB target healthy + service events 正常 + アプリ監視正常まで確認してから次の stop に進むこと。

⚠️ connection draining(AWS 公式仕様と本アプリ実装)

サービス全断 : 段階的置換のため想定しない(既存10台は常時稼働、11台目を足してから1台ずつ置換)

個別 task    : manual `aws ecs stop-task` に伴い、該当 task が処理中の in-flight request が
               失敗 / connection reset する可能性が残る。
               ・AWS が deregistration delay(300s) の待機を保証するのは
                 **service scheduler 経由の置換**(デプロイ・スケールイン)であり、
                 `StopTask` API は SIGTERM → stopTimeout → SIGKILL しか文書化していない
               ・本 API は `enableShutdownHooks()` 未実装(worker の main-worker.ts のみ実装)
                 = graceful shutdown しない
               影響は 11 台中 1 台(約9%)× 停止の瞬間に処理中だったリクエストのみ。
               「瞬断しない」「in-flight request は失敗しない」とは断定しない。

ℹ️ 実測(2026-10-07 staging・#20280): manual stop-task でも ECS は drain を開始した。

service events: "(service ..., taskSet ...) has begun draining connections on 1 tasks."

ただしこれは AWS が StopTask について保証した挙動ではないため、手順書の記述は変えない。「実測では drain が働いた」という観測事実として扱う。 なお staging の各ラウンドで healthy が 0 になったことは一度もない(最小 2/3)。サービス全断は想定どおり発生しない。

⑬ worker 切替(★API 全台置換の後)

ℹ️ 2026-10-20 実測: 再デプロイ 16:23 → 安定 16:26:57(新旧が一時並走。ローリング最小 100%)。切替直後、提出経路記録ジョブ(insurance-route-record・5 分ごと)の初回クエリが 75.9 秒かかり、db6 の ReplicaLag が 65 秒まで上がった(予算 120 秒なので打ち切られず完走・1 分で回復)。原因は images.created_at の索引が無いことによる約 5.5 万ページの読み込み+冷えたキャッシュ(推定)。#21361 で対策。予算 30 秒のままだと、この回は打ち切られる(次の回が拾い直すので記録漏れはない)。

bash
$AWS ecs update-service --cluster "$CLUSTER" --service "$WORKER" --force-new-deployment >/dev/null
$AWS ecs wait services-stable --cluster "$CLUSTER" --services "$WORKER"
$AWS ecs describe-services --cluster "$CLUSTER" --services "$WORKER" \
  --query 'services[0].{desired:desiredCount,running:runningCount,pending:pendingCount}'
# db6 実read確認(doctor-slot-delay-detection = */10 * * * * で fdsys replica を読む)
#   Datadog Logs: service:online-ops-service-main-worker "doctor-slot-delay-detection"(完了・ERRなし)
#   ※stable だけを疎通証明にしない。idle で未発火でも NG にしない(確認できれば追加証拠扱い)

なぜ API 先行か: db4/db6 とも db1 の read replica(db4 で pg_is_in_recovery()=true 実測)で書込経路が無く、API と worker が別レプリカを読んでも競合は起きない(差は鮮度のみ。FdsysReadDatabase→db3 と直接注入→db4 の混在は既に現状の仕様)。① API を先に移すと鮮度は改善方向で worker は現状維持=非退行、② ブラストラディウスが 11台中1台(約9%) に限定される(worker は desiredCount=1 なのでバックグラウンドジョブの100%が一度に移る)、③ worker がまだ db4 なので db6 に現れた接続を API に一意帰属できる。 ⚠️ 残留リスク: Secret は API/worker で共有のため、作業中に worker が何らかの理由で再起動すると意図せず db6 へ移る。⑫ の各ステップで worker の task ARN が不変であることを確認する。

⑭ Auto Scaling を作業前状態へ完全復元(★固定値 10/10 にしない)

bash
$AWS application-autoscaling register-scalable-target --cli-input-json "file://$WORK/aas_restore.json"
# 復元確認: 保存時 JSON と現在を同じ射影で比較し、差分ゼロを機械判定
$AWS application-autoscaling describe-scalable-targets --service-namespace ecs --resource-ids "$RID" \
 | jq -S '{ServiceNamespace:"ecs",ResourceId:.ScalableTargets[0].ResourceId,ScalableDimension:.ScalableTargets[0].ScalableDimension,
            MinCapacity:.ScalableTargets[0].MinCapacity,MaxCapacity:.ScalableTargets[0].MaxCapacity,
            SuspendedState:.ScalableTargets[0].SuspendedState}' > "$WORK/aas_after.json"
jq -S . "$WORK/aas_restore.json" > "$WORK/aas_expect.json"
diff "$WORK/aas_expect.json" "$WORK/aas_after.json" && echo "✅ Auto Scaling 完全復元" || echo "❌ 差分あり・要対処"
# Policy / ScheduledAction も不変か
#   ★describe-scaling-policies は配列順を保証しない(2026-10-07 staging で誤検知を実測)。
#     sort_by(.PolicyName) で正規化してから比較すること。これを忘れると
#     [scale_in, scale_out] ↔ [scale_out, scale_in] の順序差で ❌ が出る。
$AWS application-autoscaling describe-scaling-policies --service-namespace ecs --resource-id "$RID" \
 | jq -S '[.ScalingPolicies[]|{PolicyName,PolicyType,StepScalingPolicyConfiguration,Alarms:[.Alarms[].AlarmName]}] | sort_by(.PolicyName)' > "$WORK/pol_after.json"
jq -S '[.ScalingPolicies[]|{PolicyName,PolicyType,StepScalingPolicyConfiguration,Alarms:[.Alarms[].AlarmName]}] | sort_by(.PolicyName)' \
  "$WORK/aas_policies_before.json" > "$WORK/pol_before.json"
diff "$WORK/pol_before.json" "$WORK/pol_after.json" && echo "✅ Policy 不変" || echo "❌ Policy 差分あり"
test "$($AWS application-autoscaling describe-scheduled-actions --service-namespace ecs --resource-id "$RID" \
  --query 'length(ScheduledActions)' --output text)" -eq 0 && echo "✅ ScheduledAction 0件維持"

# ★desired は Auto Scaling の復元だけでは戻らない(2026-10-07 staging で実測)。
#   復元後の desired が min〜max の範囲内なら Application Auto Scaling は縮退させないため、
#   ⑥ で保存した作業前の値へ明示的に戻す。
BEFORE=$(jq -r '.services[0].desiredCount' "$WORK/ecs_service_before.json")
echo "desiredCount(before) = $BEFORE"
$AWS ecs update-service --cluster "$CLUSTER" --service "$SERVICE" --desired-count "$BEFORE" >/dev/null
oo_wait_healthy "$TG" "$BEFORE" 900 && echo "✅ $BEFORE/$BEFORE healthy"
oo_counts ; oo_tg_states "$TG"

⑮ 切替直後の監視(★ALB healthy だけで判断しない)

  • UI:https://online-karte.fstdr.jp/ops/prescriptions(db4/db6 を読む・閲覧のみ・操作条件は ⑪-d ⑤)//ops/doctor-assignment(db1 のみ。db6 切替の確認には使えないが、db1 を壊していないことの確認には有効)
    • ⚠️ UI の表示件数を疎通判定に使わない(業務フィルタで 0件になり得る)。判定は ⑪-c の APM で行う
  • APM(service=fastdoctor-jp/online-ops-service):SahaiLanes(差配) p99 < 10s/error率 < 1%/5xx・timeout なし/[APM] DB Query Duration Anomaly 未発火/主要 read latency(GetPrescriptionSubmission<5s・Pharmacies<3s・PmpPrescriptionSubmission<5s)
  • ★患者向け経路(見落としやすい):medicalExaminationWaitTime(待ち時間表示)は wait-count.query-service.ts:131 で useFdsysReplica: true がハードコードされており、患者カルテ側から @skipAuth で呼ばれる。ops 画面には出ないが reroute で +138ms が患者の待ち時間表示に乗る。必ず監視すること。
    service:fastdoctor-jp/online-ops-service @graphql.operation.name:*WaitTime* OR resource_name:*medicalExaminationWaitTime*
    service:fastdoctor-jp/online-ops-service-postgres @peer.hostname:fastdoctor-manager-db6* resource_name:*home_visit_token*
  • Logs:service:online-ops-service status:error・FDSYS connection error(ECONNREFUSED/ETIMEDOUT 等)なし
  • ★マイナ導線:service:online-ops-service "Karte not found for homeVisitToken" が 48h 0 件(§0-7)。差配画面への通知と dual-write が無音でスキップされる唯一の兆候
  • ECS:CPU<85%・mem<90%・タスク再起動ループなし
  • db6(fdsys-admin/us-east-1):DatabaseConnections 増・CPUCreditBalance 枯渇なし/CPUSurplusCreditsCharged=0(t4g バースタブル)・ReplicaLag が数十秒以内で推移(max_standby_streaming_delay=30s のため、これを大きく超えて伸び続けるなら CPG 付け替え漏れか Trocco 等の誤接続を疑う)・ReadLatency 許容
    • ★朝 05:30〜06:30 JST の CPU バースト(ops 単独で 5分 7.56 vCPU / 94% を実測)を初回の朝に必ず確認する。db6 は Multi-AZ・8 vCPU で db4 と同規模。
  • db4(fdsys-admin/ap-northeast-3):DatabaseConnections = 0(rdsadmin は CloudWatch の値に含まれない)。
    • ★db5 版では「Redash / Trocco が db4 に残るので total=0 を条件にしない」としていたが、2026-10-18 時点で db4 の consumer は online-ops のみ(Redash / Trocco / Airflow は db5 へ移行済み・pg_stat_activity と PI で確認)。したがって db6 版では db4 total=0 を判定条件にする。
    • 0 にならない場合は PI の db.sql_tokenized で残っている文を確認する。Kysely 由来(select "r"."id", … のような二重引用符付き識別子)なら online-ops の task が残っている。それ以外なら未知の consumer であり、db4 削除を止める。

⑮-b 監視を db6 へ付け替える(★⑭ の完了と同時に・Datadog は手動 apply)

datadog/services/online-ops/production を terraform apply する(自動 apply のワークフローは無い)。変更は terraform_for_aws#2952 で用意してある(#2952 がマージ済みであることが前提。未マージなら本ステップの前にマージする):

モニター変更理由
fdsys-db6-replica-lag(新設)db6 の ReplicaLag。avg(last_10m) で warning 60 秒 / critical 120 秒db6 は予算 30 秒なので、競合が起きても遅延は 30 秒前後で止まる。60 秒を超えて続くのは CPG の付け替え漏れ(18分のまま)か、競合以外の理由で WAL 適用が追いつかないときだけ。#2928 の db5 用(300 秒)は 18 分予算が前提で、db6 では原理的に届かない。〔2026-10-21 追記: db6 は 10/20 から予算 120 秒、10/30 以降の PG16 db6 は 180 秒(#21360 が本番に無い場合は 300 秒)。長いクエリがあると遅延は予算近くまで上がりうるので、warning 60 秒は「長いクエリが WAL 適用を止めている」合図として読む。PG16 db6 では critical 120 秒が予算内でも鳴りうる。閾値は今は変えない〕
fdsys-replica-query-canceled(文面更新)判定式は変えない(online-ops のログで判定・DB を問わない)。文面を db6・30秒予算・退避先 db1 に直す30 秒予算での主な失敗信号はこちら(遅延ではなくキャンセルとして現れる)
fdsys-db5-replica-lag(文面更新)判定式・通知先は変えない。「online-ops の読み先」という記述を外し、db5 は Redash / Airflow / Trocco の読み先として書き直すreroute 後の db5 の遅延は online-ops とは無関係。通知先を下げるかは別途合意(🟣)
bash
cd datadog/services/online-ops/production
terraform plan     # 期待: 1 to add (fdsys-db6-replica-lag), 2 to change, 0 to destroy
terraform apply

⚠️ fdsys-db6-replica-lag は notify_no_data = false で作る(db6 作成前に apply されても no data で鳴らないように)。db6 が稼働したら true に上げる別変更を出す。

⑯ GO / NO-GO(soak 15〜30分)

作業開始 GO(全項目必須)

[ ] 通常デプロイ凍結済み(online-ops-service-deploy)
[ ] ★terraform apply 凍結済み(online-ops-service/production。自動 apply は無く人手のみ=周知で足りる)
[ ] ★⓪ の完了条件を全て満たしている(db6 available / Multi-AZ / CPG=replica-fresh in-sync / max_standby_streaming_delay=30s / CPG の rds.force_ssl=1 / SHOW ssl=on)
[ ] ★mental-online-karte #21179 / #21206(fdsys・ops・appointment の各プールの pool.on('error'))が本番デプロイ済み
      未デプロイなら、開始前に db6 の予算を 120 秒にする(§0-5 の逃げ道を先に実行)。〔2026-10-20 追加・§0-8 ①〕
[ ] ★db6 の SG が online-ops NAT 2本のみ(⑤ の diff が空)
[ ] ★現行の FDSYS_DATABASE_URL が db4 であること(⑨ の assert でも止まる)
[ ] ★#20434(appointment-db 慢性 degraded)を認識済み=`overall` を判定に使わないことの確認
      ※ 判定は必ず checks[] の name ベース(⑪ の絶対ルールを参照)
[ ] #20299 は本番稼働中(2026-10-07 デプロイ済み)。凍結中に別デプロイを走らせない
[ ] CodeDeploy 進行中なし(list-deployments が [])
[ ] task set 構成正常(PRIMARY×1・ACTIVE なし・STEADY_STATE)
[ ] task definition = 当日 live 取得の現行リビジョン(固定値を埋めない)
[ ] desired=10 / running=10 / pending=0 / TG healthy=10/10
[ ] Auto Scaling 現状保存済み・aas_restore.json が6キーで生成された
[ ] ScheduledAction 0件
[ ] db6 available / db6 SG に online-ops NAT 2本あり
[ ] db6 事前疎通 PASS(pg16-verify スクリプト `--skip-counts`・1)〜3) で判定。4) の打ち切りは正常)
[ ] OLD_TASKS 10件 保存済み(chmod 444)
[ ] Secret AWSCURRENT バージョンID 保存済み
[ ] worker task ARN 控え済み
[ ] rollback コマンド(⑰)を手元に用意済み

各 task 置換 GO(毎回・全項目必須)

[ ] desired=11 / running=11 / pending=0
[ ] TG healthy=11/11(=replacement が db6 へ実クエリ成功)
[ ] service events 異常なし(unable to place / failed 等が無い)
[ ] task restart なし
[ ] read API 正常・差配UI 正常
[ ] FDSYS connection error なし
[ ] 5xx / timeout 異常なし
[ ] latency が下記の閾値内
[ ] db6 メトリクス異常なし(CPU / Connections / ReplicaLag / CPU Credit)
[ ] worker task ARN 不変
[ ] ★APM で replacement が db6 に実クエリを投げている(⑪-c ①・#20299 不要・これが主証拠)
      service:fastdoctor-jp/online-ops-service-postgres @peer.hostname:fastdoctor-manager-db6* task_arn:"…/<NEW_TASK_ID>"
[ ] ★APM で db1 向けの件数が不変(⑪-c ③ = PRIMARY を壊していない)
[ ] ★APM で online-ops の db3 向け span が置換の進捗に応じて減っている(⑪-c ③・マイナ導線が db6 へ移っている)
[ ] ★`Karte not found for homeVisitToken` が 0 件(⑪-c ⑦・§0-7。1 件でも NO-GO)
[ ] ★APM で db6 向けクエリに status:error が無い(⑪-c ⑤)
[ ] ★db6 上で online-ops のクエリがキャンセルされていない(30秒予算の主な失敗信号・§0-5)
      service:(online-ops-service OR online-ops-service-main-worker) "canceling statement due to conflict with recovery"
[ ] ★APM で replacement の db6 向けクエリに 10 秒超が無い(キャッシュが冷えている兆候・§0-5 の条件 2)
      service:fastdoctor-jp/online-ops-service-postgres @peer.hostname:fastdoctor-manager-db6* @duration:>10000000000
[ ] ★Datadog Logs で fdsys-replica の down が 0件(⑪-b ②・非サンプリング=最も確実な NG 検知)
      service:online-ops-service "deep health overall=" "fdsys-replica"
[ ] ★fdsys-primary(db1) の down が 0件 = FDSYS_PRIMARY_DATABASE_URL を壊していない証拠(⑪-b ③)
      service:online-ops-service "deep health overall=" "fdsys-primary"
[ ] ★fdsys-us-replica(マイナ導線・db3→db6)の down が 0件(⑪-b ④)
[ ] ★replacement の task_arn でログ行が出ており、fdsys-replica を含まない(⑪-b ①)

★latency の判定(+138ms は設計上の期待値であり NO-GO ではない)

✅ 往復回数は事前実測済み(2026-10-08・APM 24h)。 db4 向けクエリは 1トレースあたり同一クエリが約1回(spans/traces = 1582/1584, 1044/1040, 749/711, 653/619, 652/618)。重いエンドポイントでも異なるクエリ種が 2〜3 本。

値
1クエリあたり増分+138ms(db4 11.8ms → db5 150.3ms)
1リクエストの db4 クエリ数1〜3(⚠️ 2026-10-20 訂正: medicalExaminationWaitTime は約 4 本の直列。下記)
期待増分+0.14〜0.41 秒
現状 p95(非 health リクエスト)2.8〜6.7 秒
相対増加+5〜10%

⇒ 「RTT +138ms でサービスが壊れる」ことはないと実測から言える。下記 (a) の「約2倍」判定はこの前提で使う。

> 🛑 **2026-10-20 実測(§0-8 ③)**: `medicalExaminationWaitTime` は p50 0.11 → 0.68 秒(+0.56)、p95 0.37 → 1.73 秒(+1.3)。約 4 往復の直列で、(a) に抵触した。db6 起因ではなく往復時間のため例外承認し、#21355 で改善する。**次回は処理ごとの往復回数を APM のトレースで事前に数えておく。**

期待増分 ≒ 138ms × (そのエンドポイントの db4/db6 往復回数 = 実測で 1〜3)
  → ⑩ の1台目で「増分 ÷ 138ms」から往復回数を確認する(1〜3 から外れたら前提の再確認)

NO-GO とするのは:
  (a) 増分が「推定往復回数 × 140ms」の約2倍を超える
  (b) timeout / 5xx が baseline を超えて発生
  (c) 増分の結果、当該エンドポイントが SLO の絶対値を割る
  (d) 増分が時間とともに拡大する(プール枯渇・輻輳の兆候)

NO-GO としないもの:
  ・推定往復回数に見合った一定の増分

NO-GO(1つでも該当 → それ以上 OLD task を stop しない)

replacement が healthy にならない / running 不足 / restart loop /
deep-health ログに fdsys-replica の down が出た(⑪-b ②が 1件以上)/
FDSYS connection error / read API 異常 / 5xx spike / timeout spike /
`Karte not found for homeVisitToken` が 1 件以上(マイナ導線の読み先の分裂・§0-7)/
latency が上記 (a)〜(d) に該当 / db6 異常(CPU・接続・ReplicaLag・CPU Credit)/
想定外の Auto Scaling activity / 想定外の CodeDeploy 開始 / task set 構成変化(ACTIVE task set 出現)

⑰ rollback(★対象リストを rollback 開始時点で固定する)

破綻する方式: 「OLD_TASKS に含まれない=db6 task」という判定は rollback 途中で破綻する。Secret を db4 へ戻した後に起動する replacement も OLD_TASKS に無いため、判定を再計算し続けると rollback で作った db4 task まで stop してしまい終わらない。

✅ 固定リスト方式は 2026-10-07 に staging で実証済み(#20280)。3台を1台ずつ戻す過程で、固定リスト外の replacement が 1→2→3台 と増えるのに対し stop 対象は 2→1→0 と正しく減った。各ラウンドの最小 healthy は 2/3 で全断なし、1ラウンド 2.5〜3.5分。 ✅ R1 の update-secret-version-stage も同時に実証。a049d383 → 47628e34 へ AWSCURRENT を戻し、URL を手打ちせずにホスト名が fd-system に復帰することを確認した。

bash
source /tmp/oo_db6/oo_lib.sh ; TG=$(oo_tg)
CUR_DESIRED=11        # rollback 時点の desired(11 へ上げる前なら 10)

# --- R1: Secret を db4 へ戻す(全ケース共通・最初に必ず実行。URL は手打ちしない) ---
PREV_VER=$(cat "$WORK/secret_prev_version.txt") ; NEW_VER=$(cat "$WORK/secret_new_version.txt")
$AWS secretsmanager update-secret-version-stage --secret-id online-ops-service \
  --version-stage AWSCURRENT --move-to-version-id "$PREV_VER" --remove-from-version-id "$NEW_VER"
$AWS secretsmanager get-secret-value --secret-id online-ops-service --query SecretString --output text \
| python3 -c 'import sys,json;from urllib.parse import urlparse as u;d=json.load(sys.stdin);print("FDSYS_DATABASE_URL host =",u(d["FDSYS_DATABASE_URL"]).hostname)'
# → fastdoctor-manager-db4.ctd3i54nlyjp.ap-northeast-3.rds.amazonaws.com であること

# --- R2: rollback 対象を固定(★以後いっさい再計算しない) ---
oo_tasks > "$WORK/cur_at_rollback.txt"
diff_not_in "$WORK/old_tasks.txt" "$WORK/cur_at_rollback.txt" > "$WORK/db6_tasks_at_rollback.txt"
cp "$WORK/db6_tasks_at_rollback.txt" "$WORK/db6_remaining.txt"
chmod 444 "$WORK/db6_tasks_at_rollback.txt"     # 原本を読み取り専用にして誤更新を防ぐ
echo "rollback 対象 = $(wc -l < "$WORK/db6_remaining.txt" | tr -d ' ') 台" ; cat "$WORK/db6_remaining.txt"

# --- R3: 固定リストから 1 台ずつ戻す(replacement は新 ARN=固定リストに無いので絶対に stop されない) ---
while [ -s "$WORK/db6_remaining.txt" ]; do
  TARGET=$(head -1 "$WORK/db6_remaining.txt")
  echo "=== stop: $TARGET (ip=$(oo_task_ip "$TARGET")) 残り $(wc -l < "$WORK/db6_remaining.txt" | tr -d ' ') 台 ==="
  $AWS ecs stop-task --cluster "$CLUSTER" --task "$TARGET" --reason "rollback db6->db4 staged refresh" >/dev/null
  { grep -vxF "$TARGET" "$WORK/db6_remaining.txt" || true; } > "$WORK/_t" && mv "$WORK/_t" "$WORK/db6_remaining.txt"
  oo_wait_healthy "$TG" "$CUR_DESIRED" 900 || { echo "❌ replacement が healthy にならない。ここで停止し手動判断"; exit 1; }
  echo "   -> OK。60秒観測" ; sleep 60
done
echo "✅ rollback 完了"
# worker を既に db6 へ切替済みなら戻す
$AWS ecs update-service --cluster "$CLUSTER" --service "$WORKER" --force-new-deployment >/dev/null
$AWS ecs wait services-stable --cluster "$CLUSTER" --services "$WORKER"
# 最後に Auto Scaling を ⑭ の手順で保存値へ復元

ケース別の想定件数(R2 の直後に件数を目視確認する)

ケース状態db6_remaining.txt所要目安
1db4×10 / db6×11 台約 3〜5 分
2db4×7 / db6×44 台約 12〜20 分
3db4×1 / db6×1010 台約 30〜50 分

ケース3(ほぼ完了)では、全台 rollback より「db6 のまま前進」の方が速い場合がある。NO-GO の性質(db6 自体の異常か/1台だけの偶発か)で判断し、判断者と理由を記録すること。

  • FDSYS_PRIMARY_DATABASE_URL(db1) は全工程で不変。
  • 本手順では CodeDeploy deployment を起動しないため、CodeDeploy の autoRollback は関与しない。

🛑 db4 を削除した後は、この rollback(db4 へ戻す)は使えない。 db4 削除(§C-a-5)は ⑯ の soak と §C-a-4 の 48h 観測を終えてから行う。削除後に db6 で障害が起きた場合の退避は次のとおり(いずれも Secret 更新+再デプロイ。10/16 の実績で約52分)。

第一選択は db1(Primary)。 db6 は Multi-AZ なので、AZ 障害やホスト障害は RDS のフェイルオーバー(60〜120 秒)で自前で耐える。手動退避が要るのは「db6 が長時間戻らない」「db6 だけ遅延・キャンセルが止まらない(§0-5 の逃げ道でも直らない)」場合に限る。

退避先長所短所
db1(Primary)★第一選択レプリカ遅延ゼロ。ops は既に FDSYS_PRIMARY_DATABASE_URL で db1 を読んでいる。10/17〜19 の ops のレプリカ負荷は DB Load 約 0.2 AAS・クエリ最大 3 秒(§0-5)Primary に読み取り負荷が乗る。10/30 の BG 作成〜Switchover の間は避ける(論理レプリケーション中)
db5(禁じ手)read replica のままTrocco 同居で最大約18分遅れる=保険証 SMS 遅延(#21136)を再発させる(10/16 に切り戻した原因そのもの)。Trocco を db7 へ移すまでは退避先にしない

db3 は FDSYS_DATABASE_URL の退避先にしない(2 vCPU で、方式B を legacy に戻した場合の朝のバースト=8 vCPU 相当を受けられない)。 マイナ導線(FDSYS_US_REPLICA_DATABASE_URL)だけは db3 へ戻せる(db3 は残り、移行前の読み先そのもの・§0-7)。

⑱ Redash / Trocco / Airflow — 本書の対象外

  • Redash / Trocco / Airflow は db5 のまま触らない(10/14〜15 に db4→db5 移行済み・10/18 に db4 に残っていないことを確認)。db6 へは向けない(db6 SG でも許可していない)。
  • Trocco の db7(専用 read replica)への移設は PG16 移行後に別途行う(#21136)。Trocco は db4 削除の blocker ではない。
  • Retool は変更しない(db3 据置)。
  • ⚠️ Airflow の DAG(mental-online-karte projects/online-airflow/dags/fd-system/load_lake.py)の docstring には「db4 削除時は Airflow Connection の host を db6 に差し替える」とあるが、これは旧計画の記述。Airflow は db5(Redash と同じ分析系)に置く。

⑲ ★代替案: 10台のまま 1台ずつ置換する(Auto Scaling を一切触らない/TF ドリフトなし)

⑥⑩⑭(Auto Scaling の保存・11/11 固定・復元)を丸ごと省略し、desiredCount=10 のまま旧 task を1台ずつ stop して置換する方式。stop-task しても desired は 10 のままなので ECS が replacement を起動し、Application Auto Scaling は min=max=10 と整合したままで一切介入しない。

本編(11台方式)⑲(10台のまま方式)
TF ドリフトmin/max が一時発生(⑥ 注記)なし
Auto Scaling 操作保存・変更・復元が必要(⑥⑩⑭)不要=手順が3節まるごと消える
「復元忘れ」リスクあり(⑭ の diff 判定で担保)構造的に存在しない
作業中に terraform apply された場合11台目(=db6 を読む唯一の task)が落とされる影響なし
作業中の容量10台を維持(+1台で検証)置換中のみ 9台(約3分 × 10回)
1台目の検証既存10台に触れずに検証できる1台 stop した後に検証する
新 task が起動失敗した場合10台健全 + 1台 crash-loop = 容量影響ゼロ9台のまま crash-loop が続く

採用判断の指針

  • APM で per-task 判定できる(⑪-c)ため、11台方式の「既存10台に触れずに検証できる」利点は小さい。 1台目が RUNNING→ALB healthy になった時点で、その task が db6 に実クエリを投げている事実は APM で確定する。
  • 一方 Auto Scaling の保存/変更/復元は本手順で最も失敗しやすい箇所(復元忘れ・apply による巻き戻し)。これを構造的に消せるのは大きい。
  • 懸念は容量のみ。CPU は 7日平均 2〜3%/ピーク 4〜5% で 9台でも処理能力は足りるが、min を 10 に引き上げた経緯が メモリリーク疑い+週末の負荷対応(#19740) である点に注意。⇒ 平日の低負荷帯に実施すること。

✅ 2026-10-20 は ⑲ で実施した。 1 回の実行で旧 task を 1 台だけ止めるスクリプト(stop-task → 10/10 healthy 待ち → 新 task と worker 不変を表示)を 10 回流し、各回の後に次を確認してから次へ進めた: ① 新 task の起動ログ(Nest application successfully started・[fdsysUsReplica] 接続プールを生成)② APM で新 task の task_arn から db6 向け span が status ok ③ エラーログ(Stage A の失敗・conflict with recovery・Unhandled 'error'・Karte not found・fdsys の down)が 0 件 ④ db6 の ReplicaLag。1 台あたり約 3 分。APM はサンプリングのため、healthy 直後は新 task の span がまだ出ないことがある(起動ログと healthy で代替判断した)。 ⚠️ 監視スクリプトで db6 の RDS ログ(error/postgresql.log.YYYY-MM-DD-HH)を数える場合、ファイルは 1 時間ごとに切り替わる。「直近 2 ファイルの件数の差分」で数えると切替時に負になり、増加を見逃す。ログの時刻で監視開始以降に絞って数えること。

⑲ を採る場合の手順差分

⑥  (省略)Auto Scaling には一切触らない
⑩  (省略)register-scalable-target も update-service --desired-count も実行しない
⑭  (省略)復元が不要

⑫  の待機条件を 11 → 10 に読み替える:
      oo_wait_healthy "$TG" 10 900        # 本編は 11
⑯  各 task 置換 GO を読み替える:
      desired=10 / running=10 / pending=0 / TG healthy=10/10
      ※ stop 直後の約3分間は running=9 / healthy=9 になる(これは正常)
⑰  rollback の CUR_DESIRED を 10 にする

作業開始 GO から次の2項目を外す:
      [ ] Auto Scaling 現状保存済み・aas_restore.json が6キーで生成された
      [ ] ★terraform apply 凍結済み    ← ドリフトしないため不要(ただし通常デプロイ凍結は必須のまま)

中間チェックポイントについて

  • 5台 / 5台まで進めてから UI 検証する方式は推奨しない。 db6 が「到達はするが遅い/一部クエリ失敗」の場合に 50% のユーザーが影響を受ける。+138ms は確定事項なので、5/5 は「半分のトラフィックに確定で +138ms を載せた状態で評価する」ことになる。
  • ⑪-c の APM 判定は 1台(約10%)の時点で確定するため、5/5 まで進める必要がない。
  • どうしても中間で長めに観測したい場合は **3台目(約30%)**で止めるのがバランスが良い。