fastdoctor-manager PG16 Blue/Green アップグレード 本番手順書(RDS PostgreSQL・CLI)
fastdoctor-manager(RDS PostgreSQL 12.22 / 非Aurora)を Blue/Green で PG16 へメジャーアップグレードし、Switchover するまでの本番手順。CPG 作成 → logical replication 有効化 → db4(大阪クロスリージョン)排除 → Blue/Green 作成 → Green 検証 → Switchover を通しで扱う。
Aurora 版との違い: fastdoctor-manager は RDS(DB Instance 単位・DB parameter group)。Aurora の cluster/cluster-PG ではない。共通の考え方・メンテ枠設計・ロールバックは Aurora 本番手順
procedure-production.mdを正本として参照し、コマンドは RDS 用に読み替える。 関連: preflight #14832 / CPG設計 #14856 / 親 #12730 / db4 #12732 / BGリハーサル #15121(develop クローンで §A〜§E 完走・本手順の実挙動を検証) / preflight手順書postgresql-pg16-upgrade-preflight-checklist.md
前提・対象(実機確認済み #14832)
| 項目 | 値 |
|---|---|
| アカウント / リージョン | fdsys 913831226605 / us-east-1(⚠️ tokyo/osaka にも同名PGあり=別物・触らない) |
| エンジン | RDS PostgreSQL 12.22 → 16.x(ValidUpgradeTarget 16.9〜16.14・作業直前に確定) |
| 構成 | db1(primary・Multi-AZ) + db3/db5(us-east-1 replica) + db4(大阪 cross-region replica) |
| 既存CPG(手動) | postgres12-fastdoctor-manager(db1/db3共有) / postgres12-fastdoctor-manager-replica(db5) / fd-system-replica(db4) |
| 接続元 | Rails 本体(web/sidekiq×3/cable/scheduler)=db1のみ。別リポジトリ online-ops-service が read replica(db4)を常時参照。Trocco/Retool も replica 参照 |
| 阻害要因 | preflight で ゼロ(PKなし0・外部CDCなし・非互換なし)。残論点は ①logical_replication 有効化 ②db4 クロスリージョン ③232GB 同期時間 |
全体の流れ(フェーズ)
A. CPG 作成(枠外・無停止) … §A
B. db1 に logical CPG 付替+再起動 … §B(★事前メンテ枠・瞬断あり/Switchover 枠とは別)
C. db6 新規作成+online-ops/Trocco 逃がし+db4 排除 … §C(枠外・事前)
D. Blue/Green 作成(Green を AVAILABLE まで)+Green検証 … §D(枠外・無停止・232GB で時間かかる)
E. メンテ枠:snapshot→Switchover→疎通確認 … §E(低トラフィック帯・1時間枠)
F. 事後(拡張更新・監視・db6(PG16)確認・後始末・TF整合) … §F⚠️ ダウンタイムが出るのは B の再起動と E の Switchover のみ。B と E は別のメンテ枠に分ける(procedure-production.md「メンテ枠の時間設計」準拠)。232GB の Green 同期(D)は無停止だが数時間かかり得るので必ず枠前に AVAILABLE にする。
共通の環境変数
export AWS_PROFILE=fdsys-admin ; R=us-east-1
SRC=fastdoctor-manager-db1 # BG ソース=primary インスタンス
BG_NAME=fastdoctor-manager-pg16
TGT_VER=16.14 # 作業直前に ValidUpgradeTarget で再確認
aws sts get-caller-identity --query Account --output text # → 913831226605§A. CPG 作成(枠外・無停止)
[#14856] のとおり A/B/C を us-east-1 に CLI で作成する(詳細な作成・確認コマンドは本手順書の旧版セクション、または #14856)。要点のみ:
| # | 名前 | family | 用途 | キー param |
|---|---|---|---|---|
| A | postgres12-fastdoctor-manager-bg | postgres12 | db1 BG ソース | 既存共有PGコピー + rds.logical_replication=1 |
| B | postgres16-fastdoctor-manager | postgres16 | PG16 writer(green) | 現行7param + rds.logical_replication=1 + password_encryption=md5 + shared_preload_libraries=pg_stat_statements |
| C | postgres16-fastdoctor-manager-replica | postgres16 | PG16 replica(green db5 専用) | autovacuum=1/checkpoint_timeout=300/max_standby_streaming_delay=1080000/rds.force_ssl=0(blue db5 に合わせる・§C-a-8)。PG16 移行後に 1 にする(mental-online-karte#24932・手順書。db5 の CA を変えるときは Trocco の CA 欄も変える=同手順書 §6) |
| D | postgres16-fastdoctor-manager-replica-fresh | postgres16 | PG16 replica(green db3 専用。2026-10-21 改訂) | max_standby_streaming_delay は既定(30秒)・rds.force_ssl=1。作成手順は別紙 online-ops-reroute ⓪-a |
| E | postgres16-fastdoctor-manager-replica-db6 | postgres16 | PG16 replica(green db6 専用。2026-10-21 新設) | D の複製 + max_standby_streaming_delay=180000(180秒。#21360 の UNION 版が本番に無ければ 300000)・rds.force_ssl=1。作成手順は §C-a-8 |
2026-10-19 訂正: 旧版は C の用途を「db5/新replica」としていたが、10/18 改訂(#21136・§C-a-8)で C は db5 専用、db3 / db6 は D(
-replica-fresh) に変わった。C は遅延上限 18 分なので、db3 / db6 に当てると鮮度要件を満たせない。 2026-10-21 改訂: green db6 は 180 秒に決めた(#21360 の UNION 版が本番に無い場合は 300 秒。2026-10-23 改訂)ため、db6 は D から E(db6 専用)に移した。D は green db3(Retool)と共用なので、D を上げると db3 の挙動まで変わる。理由は §C-a-8。
# A(コピー+1param)
aws rds copy-db-parameter-group --region $R \
--source-db-parameter-group-identifier postgres12-fastdoctor-manager \
--target-db-parameter-group-identifier postgres12-fastdoctor-manager-bg \
--target-db-parameter-group-description "db1 BG source: clone + logical_replication=1 (#14856)"
aws rds modify-db-parameter-group --region $R --db-parameter-group-name postgres12-fastdoctor-manager-bg \
--parameters "ParameterName=rds.logical_replication,ParameterValue=1,ApplyMethod=pending-reboot"
# B / C は #14856・§A 参照(create-db-parameter-group + modify)なぜ A は「コピー+1param」か: db1/db3 は共有 PG のため、共有 PG を直接変更すると db3 まで pending-reboot になる。クローンして db1 だけに付け替えることで db3 を無傷に保つ。
copy-db-parameter-groupは既存の user 設定 param 7個(rds.force_ssl=1・wal_buffers=-1・maintenance_work_mem=GREATEST(...)等)を正確に丸ごと複製するので、追加変更はlogical_replication=1の1個だけ=最小差分で安全(手で7個再指定する typo/漏れ/カンマ問題を回避)。B/C は family がpostgres16(copy は同一 family 内のみ)なのでcreate+modify。⚠️ B の
modify-db-parameter-groupは--parametersを JSON 形式で書く。maintenance_work_memの値GREATEST({DBInstanceClassMemory*1024/63963136},65536)に カンマが含まれ、shorthand 構文(ParameterName=...,ParameterValue=...)だと区切り文字と衝突してパースエラーになる(\,エスケープも効かない)。本番クローン検証で実際に発生。JSON 例:bashaws rds modify-db-parameter-group --region $R --db-parameter-group-name postgres16-fastdoctor-manager \ --parameters '[ {"ParameterName":"maintenance_work_mem","ParameterValue":"GREATEST({DBInstanceClassMemory*1024/63963136},65536)","ApplyMethod":"immediate"}, {"ParameterName":"rds.logical_replication","ParameterValue":"1","ApplyMethod":"pending-reboot"}, {"ParameterName":"password_encryption","ParameterValue":"md5","ApplyMethod":"immediate"}, {"ParameterName":"shared_preload_libraries","ParameterValue":"pg_stat_statements","ApplyMethod":"pending-reboot"} # + 現行 user param(autovacuum/checkpoint_timeout/max_wal_size/rds.force_ssl/synchronous_commit/wal_buffers) ]'なお
rds.force_ssl/synchronous_commit/max_wal_size/maintenance_work_memは postgres16 の既定値と同一なら--source userの一覧に出ない(差分表示のため)。効果的には設定済みなので、機能面の検証はlogical=1・password_encryption=md5・shared_preload_libraries=pg_stat_statementsの3点で足りる。🔴 ただし
rds.force_sslは blue↔green の一致を必ず実確認する(staging リハで全断を実証・#18087)。staging は Blue(PG12) がrds.force_ssl=0(非SSL許可)だったのに、postgres16 family 既定はrds.force_ssl=1のため green が SSL 必須になり、非SSL接続の online-ops(10.10.x) が Switchover 直後にFATAL: no pg_hba.conf entry … no encryptionで全拒否→クラッシュループした(Rails は SSL 接続なので api-probe は PASS =症状が特定 consumer に限局し気づきにくい)。本番 db1 は元々rds.force_ssl=1で B(green) も 1=一致するため本番では本事象は起きない想定だが、①rds.force_sslの blue==green を describe で実確認、②全 consumer が SSL 接続であること(force_ssl=1 環境で非SSL接続の consumer が1つでもあれば Switchover 後に全断)を §G で確認すること。切替後に特定接続元だけ落ちたら、新 primary の RDS ログでno encryptionを確認 →rds.force_sslを is-sync で修正(dynamic=reboot不要)。
- [ ] A/B/C が us-east-1 に作成され、主要 param が期待値(A: logical=1 / B: logical=1・password_encryption=md5・preload=pg_stat_statements / C: max_standby_streaming_delay=1080000・rds.force_ssl=0)
- [ ] D / E が作成され、期待値どおり(D: max_standby_streaming_delay=既定・rds.force_ssl=1 / E: max_standby_streaming_delay=180000(#21360 が本番に無ければ 300000)・rds.force_ssl=1)。E の作成は §C-a-8〔2026-10-21 追加〕
- [ ] 🔴
rds.force_sslの blue↔green 一致を実確認(describe-db-parametersで db1: A=B=1、db5: bluepostgres12-fastdoctor-manager-replica=C=0。C の 0 化は §C-a-8)。全 consumer が SSL 接続である前提を §G で裏取り(非SSL consumer があると Switchover 後にno encryptionで全断・#18087)
§B. db1 に logical replication を有効化(★事前メンテ枠・瞬断あり)
RDS Blue/Green(メジャーUP)は logical replication を使うため、BG 作成前に source(db1) を rds.logical_replication=on にする必要がある。db1/db3 は共有 PG のため、A(クローン)を db1 だけに付け替え → db1 だけ再起動する(db3 は共有PGのまま=無影響)。
なぜ db1 だけでよいか: BG は blue の writer(db1) → green の writer へ logical replication で同期するため、logical WAL を出す必要があるのは writer=db1 だけ。db3/db5/db6 は db1 の物理(streaming)レプリカで BG の logical ソースにはならず、BG が各 replica の green(PG16) コピーを自動作成する(replica 側で logical_replication を有効にする必要なし)。db4 は §C で削除済・db2 は存在しない。db3 を共有 PG のまま残すのは不要な再起動を避けるための意図的設計。
# B-1. db1 に A CPG を付け替え(pending-reboot 状態になる)
aws rds modify-db-instance --region $R --db-instance-identifier $SRC \
--db-parameter-group-name postgres12-fastdoctor-manager-bg --apply-immediately
# B-2. 付替状態の確認(PGStatus=pending-reboot / applying→pending-reboot)
aws rds describe-db-instances --region $R --db-instance-identifier $SRC \
--query "DBInstances[0].DBParameterGroups" --output table
# B-3. db1 を再起動(Multi-AZ フェイルオーバー ≒60〜120秒・瞬断)→ pending-reboot param を反映
# Multi-AZ failover 込みで再起動するため --force-failover を付ける
# (AWS CLI: --force-failover =「reboot is conducted through a Multi-AZ failover」。付けないと failover を伴わない通常 reboot になる)
aws rds reboot-db-instance --region $R --db-instance-identifier $SRC --force-failover
aws rds wait db-instance-available --region $R --db-instance-identifier $SRC
# B-4. 反映状態 in-sync 確認
aws rds describe-db-instances --region $R --db-instance-identifier $SRC \
--query "DBInstances[0].DBParameterGroups[0].ParameterApplyStatus" --output text # in-syncB-5. 踏み台経由で logical replication 有効を確認(read-only):
db1 は VPC 内のため、production アカウント(967691968827)東京リージョンの踏み台 fd-platform-bastion-tokyo(i-0f44005c3f7259513)経由で SSM ポートフォワードして psql する(preflight #14832 と同経路。NAT 出口 3.113.154.169 → db1 の Public エンドポイント):
| 用途 | アカウント | プロファイル | リージョン |
|---|---|---|---|
| SSM 踏み台 | 967691968827(production) | production-admin | ap-northeast-1 |
secret fdm_system / DB 本体 | 913831226605(fdsys) | fdsys-admin | us-east-1 |
# ① ターミナルA: 踏み台経由でポートフォワード(endpoint は describe の Endpoint.Address)
AWS_PROFILE=production-admin aws ssm start-session --region ap-northeast-1 --target i-0f44005c3f7259513 \
--document-name AWS-StartPortForwardingSessionToRemoteHost \
--parameters '{"host":["fastdoctor-manager-db1.<endpoint-suffix>.us-east-1.rds.amazonaws.com"],"portNumber":["5432"],"localPortNumber":["15432"]}'
# ② ターミナルB: パスワード(★fdm_system は password キーではなく DATABASE_URL。urlparse で抽出)
export PGPASSWORD=$(AWS_PROFILE=fdsys-admin aws secretsmanager get-secret-value \
--region us-east-1 --secret-id fdm_system --query SecretString --output text \
| python3 -c "import sys,json; from urllib.parse import urlparse,unquote; d=json.load(sys.stdin); print(unquote(urlparse(d['DATABASE_URL']).password or ''))")
# ③ psql
psql "host=localhost port=15432 user=fdadmin dbname=fastdoctor_manager_production sslmode=require"SHOW rds.logical_replication; -- on
SHOW wal_level; -- logical
SHOW wal_sender_timeout;- [ ] db1 が
logical_replication=on/wal_level=logical(db3 は共有PGのまま=無変更) - [ ] この再起動は Switchover 枠とは別の事前枠で実施済み
⚠️ Rails アプリ(db1 接続)は再起動中に瞬断 → 再接続。事前枠(低トラフィック帯)で実施し、周知しておく。 ⚠️ コネクションプール残留に注意: Multi-AZ フェイルオーバー後、Rails(ActiveRecord)・online-ops(Prisma/kysely) のプールが切れた接続を掴んだままエラーを出し続けることがあり、raw failover 時間(60〜120秒)よりアプリのエラー窓が長引く場合がある。reboot 後は
DatabaseConnectionsの回復とアプリの DB 接続エラー残留を監視し、残るようなら ECS ローリング再起動(update-service --force-new-deployment)で新規接続を強制する(切替時 §E-4 と同じ考え方)。この失効・再接続は §E Switchover 後も同様なので、対象サービスは共通。db1(primary) に直接接続する ECS サービス(2026-07-30 実機確認・全て db1 instance endpoint
fastdoctor-manager-db1.ceupzitfh2wh...参照=failover/switchover で据え置き)=計9:
- fdsys(913831226605) / クラスタ
fastdoctor-manager-us-prd(Rails 一式・7):fastdoctor-manager-us-prd(web) /worker-fastdoctor-manager-us-prd(sidekiq) /cable-fdm-us-prd(ActionCable) /mobakar-worker-fdm-us-prd/mobakar-worker-fdm-us-prd-2/mobakar-sync-worker-fdm-us-prd/mobakar-sync-worker-fdm-us-prd-2- production(967691968827) / クラスタ
online-ops-service-cluster(別acct・2):online-ops-service-service/online-ops-service-main-workerbash# 例: エラーが残るサービスだけ強制再接続(ローリング=アプリ層は無停止) CL=fastdoctor-manager-us-prd # AWS_PROFILE=fdsys(fdsys 側 Rails) for S in fastdoctor-manager-us-prd worker-fastdoctor-manager-us-prd cable-fdm-us-prd \ mobakar-worker-fdm-us-prd mobakar-worker-fdm-us-prd-2 \ mobakar-sync-worker-fdm-us-prd mobakar-sync-worker-fdm-us-prd-2; do aws ecs update-service --region us-east-1 --cluster $CL --service $S --force-new-deployment done # online-ops は別アカウント(§C-2 と同じ2サービス・online-ops チームと連携)📊 監視サーフェス(§B failover / §E-2 switchover 共通・当日ここを見る):
面 対象(service/名) 見どころ CloudWatch ダッシュボード fastdoctor-manager-pg16-bluegreen(fdsys)db1/db3/db5/db6 + アプリ ECS DatabaseConnectionsの回復 / ECSRunningTaskCountvsDesired・CPU・Pending(force-new-deployment の進捗・健全性)Datadog APM Rails 本体 = service:fast_doctor_manager(env:prd) / online-ops =service:online-ops-serviceError rate(★ロールバック基準「主要APIエラー率>1%が5分継続」の判定対象)→ Errors/Error Tracking で接続エラー型 → Traces status:errorで対象サービス特定Datadog Logs Rails = service:fd-system(★ログはfd-systemタグ・APM はfast_doctor_managerと名前が違う点に注意)/ online-ops =service:online-ops-serviceロググループ /aws/ecs/fastdoctor-manager-us-prd-app(web)・/aws/ecs/worker-fastdoctor-manager-us-prd-app(worker)。status:error+接続エラー文字列で生ログ確認接続エラー型ウォッチリスト(reboot/switchover で出たら要注意・平常時はゼロ):
PG::AdminShutdown(terminating connection due to administrator command=reboot でまさに出る)/PG::ConnectionBad/ActiveRecord::ConnectionNotEstablished/PG::UnableToSend/ActiveRecord::ConnectionTimeoutError/ActiveRecord::StatementInvalid("server closed the connection")。 ※ 平常時ベースライン(例ActiveRecord::Deadlocked/RecordInvalid/ 外部API系)は接続無関係。窓の前にベースラインを控え、窓中は上記接続エラー型の新規出現・Volume 急増を見る。数分で消えれば正常、残れば上記force-new-deployment。速報性は APM の Error rate グラフと Logs、確定は Errors タブの順。APM 直リンク(env:prd・当日ライブで開く/時間窓は画面右上で当日に合わせる):
- Rails 本体(Errors): https://ap1.datadoghq.com/apm/entity/service%3Afast_doctor_manager?env=prd#errors
- online-ops: https://ap1.datadoghq.com/apm/entity/service%3Aonline-ops-service?env=prd
⚠️
fast_doctor_managerは web/worker/cable/mobakar×4(=上記7サービス・同一リリース)を1つに包括するが、直リンク既定ビューはoperationName=rack.request=web のみ。上部の Error rate/Latency グラフはこの operation に従うため、ワーカー(sidekiq)のエラーは上部グラフに出ない。ワーカーは ①Errors/Error Tracking タブ(operation 横断・実証:ExecuteOcrJob等が出る)②Logsservice:fd-system(enqueue 含む全ログ・実証済)③Operation ドロップダウンをsidekiq.job/All に切替 で見る。接続エラーは web+worker 両方で起きうるため、当日は「Errors タブ+Logs」で漏れなく確認する。
§C. db4(大阪クロスリージョン replica)排除 + online-ops 用 us-east-1 新規レプリカ作成(枠外・事前)
RDS Blue/Green は Cross-Region / Cascading read replica を非対応(AWS公式)。db4 は db1 の大阪クロスリージョンレプリカのため、BG 作成前に削除する。db4 を読む online-ops-service / Redash(★pg_stat 実測 2026-09-08 で 119q 確定)/ Trocco・Retool(SG allowlist・実利用は要再確認) は、us-east-1 の in-region read replica へ逃がす。
CAUTION
2026-10-18 改訂(#21136): 下記の #19794 基準案「db6 は作らず db5 を db4 の後継にする」は撤回し、online-ops 専用の db6 を新設する。
- 経緯: 基準案どおり 10/13〜15 に online-ops / Redash / Trocco を db4→db5 へ移したところ、db5 に同居した Trocco の長時間トランザクション(カーソルで全件抽出)で ReplicaLag が最大 1,076 秒になり、保険証 SMS 遅延が発生。online-ops は 10/16 17:14 に db4 へ切り戻された。
- #19794 が挙げた「db6 新設が正当化されるケース ① workload isolation」が本番実測で成立した: ops を外して Redash + Trocco + Airflow だけにした db4(10/14)でも lag max 1,077 秒(負荷では直らない)。逆に ops だけになった db4(10/17〜18)は lag max 8〜17 秒。
- 現在(10/18)の配置: db4 = online-ops のみ(34〜41 接続)/ db5 = Trocco + Redash + Airflow / db3 = Retool + online-ops のマイナ導線(
FDSYS_US_REPLICA_DATABASE_URL)。 - 方針(Target): db1 Primary / db3 Retool / db5 Redash + Airflow / db6 online-ops(Multi-AZ・10/25 までに作成) / db7 Trocco(PG16 移行後に新設)。
- 2026-10-19 追加: online-ops のマイナ導線(
FDSYS_US_REPLICA_DATABASE_URL・現在 db3)も同じ reroute で db6 へ移す。reroute 後の db3 は Retool 専用になる(別紙 §0-7)。 - 手順: db6 の作成と online-ops の db4→db6 reroute は 別紙 fastdoctor-manager-online-ops-reroute.md の §0・⓪〜⑲ が正本。本書の §C-a-3 以降と §C-a-8・§D-2 は db6 版に読み替える(該当箇所に注記)。旧 db6 手順(C-1〜C-5)は CPG / SG が古いので使わない。
- BG で新たに分かった blocker(§C-a-8・§C-a-11 に追記): ① green replica CPG(
max_standby_streaming_delay=1,080,000)を green db3/db6 に当てない ② db5 のrds.force_sslが blue 0 → green 1(#18087 と同型)→ C を 0 にして揃える ③ db1/db3 の pendingsystem-update。
IMPORTANT
サイジング / reader 構成 再評価の結論(#19794 Decision Record・基準案)〔⚠️ 2026-10-18 に上記 CAUTION で一部撤回。db6 新設に変更〕 本 §C は当初「db6 を新設し、db5 は使わない」計画だったが、再調査(#19794)の結果 既存 db5(現在 consumer 未割当の read replica)を db4 の恒久後継とし、db6 は原則作成しないを基準案とする。
根拠(一次資料・本番実測): db6 を db5 より優先する技術的必然性が一次資料(#12730/#12731/#12732/#14832/#14856/#18675・本手順書・git 履歴)から確認できない。latency(Tokyo→us-east-1 ≈150ms)も BG 互換(green replica は名前・endpoint を引継ぎ)も db5 / db6 で差がない。db5 は 30 日 client 接続ゼロで受け皿余力あり(#12732 も逃がし先=db5 が最適と評価)。
db6 新設が正当化されるケース(要件確認時のみ): ① online-ops バルクと BI(Redash/Retool)の workload isolation ② db5 の別用途(将来計画)③ db5/db6 を active 併用する可用性設計 ④ その他未確認の事業/運用要件。→ **これらが確認できるまで、以下の db6 手順は「条件付き(db6 を新設する場合のみ)」**として扱い、既定は「db5 を後継に転用(新規 replica を作らない)」で読み替える。
サイジング基準案(#19794): db1=
m8g.2xlarge(+ scale-up trigger。4xlarge は worst case / 予測誤差への保険)/ db3=m8g.xlarge(Retool を db3 に残す前提)/ db5=m8g.2xlarge(db4 後継・初期サイズとして高確度、移行後実測で最終確認)。storage は全 reader gp3 400GiB(→12,000 IOPS/500MiB baseline。BG では green replica が green primary(400GiB) に自動一致)。R系は不採用(メモリ律速の証拠なし)、M8g→M9g 世代差は保証値に使わない。class / storage 変更の面(本番瞬断を避ける実施面の分離): 🛑
db.m8gは PostgreSQL 12.22 では選べない(2026-10-09 実測・us-east-1)textPG 12.22: db.m5 db.m6g db.m6i db.m6in db.r5 db.r5b db.r6g db.r6i db.r6in db.t3 db.t4g db.x2g ← m8g なし PG 16.15: db.m8g.2xlarge / db.m8g.xlarge gp3 / MaxIops 64,000 / MultiAZ=True ✅⇒ Blue 側で m8g に上げることは物理的に不可能であり、下記「Green 側で実施する」は 本番 reboot を避けるための選択であると同時に 他に手段が無い必然でもある。 ⇒ Blue を t4g のまま BG に入れ、Green(PG16)になってから class を上げるのが唯一の経路。 ⇒ この一連の流れ(⑤)は 2026-10 時点で未検証。本番前に必ず通すこと → fastdoctor-jp/mental-online-karte#20479 ⇒ 検証手順書:
fastdoctor-manager-green-resize-verification.md(合成データ・最小構成。232GB クローンは不要=PHI を持たない。 本番データ規模の所要時間はfastdoctor-manager-production-rehearsal.md側で測る)- class 変更(t4g→m8g、reboot=Multi-AZ フェイルオーバー 60〜120秒 を伴う)は Green 側で実施する:db1(green primary)は BG 作成時/作成後、db3・db5(green replica)は green 作成後に手動 modify(AWS公式)。Blue の db1/db3/db5 を reboot する必要はなく、本番の瞬断は Switchover(<1分)のみ。→ db5 を m8g.2xlarge にするために Blue db5 を reboot してはいけない(不要)。
- storage 拡張(db5 321→400GiB→12,000 IOPS/500MiB)は online 操作=reboot/瞬断なし。BG では green replica の割当ストレージが green primary(400GiB) に自動一致するため基本は自動付与。ただし db4 consumer を db5 へ移す interim(consumer 移設〜Switchover の間)に 12,000 IOPS が必要な場合のみ、db5 が idle の現状のうちに Blue 側で storage だけ先行拡張する(online・reboot なし・consumer 影響ゼロ。※400GiB で 1→4 volume striping に移行し I/O 集中・数時間かかるが instance は Modifying 状態で稼働継続)。
- Blue を一切触りたくない場合は storage も green 自動 400GiB に委ね、interim 中は Redash/Trocco を停止+低トラフィック帯で実施し、online-ops の read のみ 3,000 IOPS で凌ぐ(interim の I/O 余力を要監視)。
- 実施順(推奨・本番瞬断は Switchover のみ): ①【Blue・db5 idle】db5 storage 321→400GiB(online・reboot なし。interim I/O 対策が不要なら省略し green 自動に委ねる)→ ②【Blue】consumer(online-ops/Redash 等)を db4→db5 へ向け替え → ③【Blue】db4 削除 → ④ BG 作成(green primary=db1・green replica=db3/db5、storage 自動 400GiB)→ ⑤【Green】green db5 class→m8g.2xlarge、db1(primary)/db3 の target class を modify(reboot は green のみ=本番無影響)→ ⑥ Switchover(本番瞬断はここのみ)。
最終合意・class 確定・db6 要件確認は #19794 で追跡(本手順書は決定反映の写し。合意前は既存 db6 手順を条件付きで残置)。
§C-a. db5 後継パス(基準案・db6 を作らない場合)の本番実行手順
前提(#19794 基準案・変更しない): db1=m8g.2xlarge(+scale-up trigger) / db3=m8g.xlarge / db5=m8g.2xlarge、全 reader gp3 400GiB。db4=削除、db6=作らない。Retool は今回変更しない(db3 据置。PG16 移行後の最適化は別 Issue)。R系不採用、M8g→M9g 世代差は容量計算に使わない。db5 2xlarge は「初期サイズとして高確度・移行後実測で最終確認」で絶対十分とは断定しない。 本番の計画停止は原則 Switchover のみ。ただし ①storage 変更中の性能低下、③consumer の rolling 再デプロイに伴う一時的な接続 reset/エラーは別途あり得る(下記各所に明記)。Blue の db1/db3/db5 の class 変更・reboot は行わない(class は Green 側で実施)。 値の凡例:
<PG16-target>=当日 live 確認で確定する PG16 マイナー(固定値で埋め込まない)/<bg-id>・<...-green-xxxxx>=BG 作成後に describe で取得。プロファイル: fdsys=fdsys-admin(913831226605)、online-ops=production-admin(967691968827)。region: fdsys=us-east-1(db4 のみ ap-northeast-3)。
<§C-a-0> Preflight(BG 作成前・全て GO を満たすまで進めない)
# (0-1) 現 EngineVersion と PG12→PG16 direct upgrade target を live 確認(固定値にしない)
CURRENT_VERSION=$(aws rds describe-db-instances --profile fdsys-admin --region us-east-1 \
--db-instance-identifier fastdoctor-manager-db1 --query 'DBInstances[0].EngineVersion' --output text)
echo "current db1 = $CURRENT_VERSION" # 例: 12.22
aws rds describe-db-engine-versions --profile fdsys-admin --region us-east-1 \
--engine postgres --engine-version "$CURRENT_VERSION" \
--query 'DBEngineVersions[0].ValidUpgradeTarget[?IsMajorVersionUpgrade==`true` && starts_with(EngineVersion,`16.`)].{Version:EngineVersion,Major:IsMajorVersionUpgrade}' \
--output table
# → この一覧から採用する <PG16-target> を選ぶ(2026-09-28 実測では 16.9〜16.15 が major target。実施日に再確認)
# (0-2) 採用 <PG16-target> × M8g が us-east-1 / Multi-AZ で orderable か live 確認(実施日再確認・固定にしない)
for C in db.m8g.xlarge db.m8g.2xlarge db.m8g.4xlarge; do
echo -n "$C orderable(MultiAZ) for <PG16-target> = "
aws rds describe-orderable-db-instance-options --profile fdsys-admin --region us-east-1 \
--engine postgres --engine-version <PG16-target> --db-instance-class $C \
--query "length(OrderableDBInstanceOptions[?MultiAZCapable==\`true\`])" --output text
done # 各 >0 なら OK(0 は NO-GO)
# (0-3) PG16 用 CPG の実在(writer/replica)・SG・consumer は §A/§0 で確認済み前提
aws rds describe-db-parameter-groups --profile fdsys-admin --region us-east-1 \
--query "DBParameterGroups[?starts_with(DBParameterGroupName,'postgres16-fastdoctor-manager')].{Name:DBParameterGroupName,Family:DBParameterGroupFamily}" --output tableGO: <PG16-target> が ValidUpgradeTarget に存在 AND IsMajorVersionUpgrade=true
AND M8g(xlarge/2xlarge[/4xlarge]) が当該 <PG16-target> で Multi-AZ orderable(>0)
AND postgres16 用 CPG(writer=postgres16-fastdoctor-manager / replica=postgres16-fastdoctor-manager-replica) が存在
NO-GO: いずれか未達 → BG を作成しない<§C-a-1> Blue db5 の storage を 321→400GiB へ online 拡張(class は変更しない・★移行の1〜2日前までに完了)
IMPORTANT
④ storage 前倒し(事前作業): 321→400GiB は gp3 の striping threshold(<400=1 volume / ≥400=4 volumes)をまたぐ full-copy(1→4 volume 再構成)で storage modification/optimization が長時間化しうる(数分〜、I/O-intensive 経路では数時間〜大容量・高負荷では 24時間以上に及ぶ可能性もある。AWS は明確な上限を示さず)。→ 移行当日に開始して完了を待つ手順にしない。db5 は idle でいつでも実施できるので 推奨=移行日の数日前に実施。Go 条件=db4→db5 reroute(§C-a-3)を開始する前までに §C-a-2 の完了を満たすこと(「必ず1〜2日で終わる」とは断定しない・完了確認そのものが条件)。未完了なら reroute へ進まない(§C-a-2 の NO-GO)。 ② interim の実容量(現行 class=T系バースタブルを把握): interim(§C-a-3 の consumer 切替〜§C-a-12 Switchover)は Blue db5 の現行 class = db.t4g.2xlarge(8 vCPU / 32 GiB・T系=バースタブル) のまま db4 の consumer 負荷(online-ops + Redash[+Trocco])を受ける。これは db4 の現行 class(db.t4g.2xlarge・8 vCPU)と同一=interim の CPU/RAM 規模は db4 相当で小さくならない(interim のギャップは storage/IOPS のみ=本ステップで先行解消)。ただし T系バースタブルのため interim 中は CPU Credit(CPUCreditBalance が枯渇しない/CPUSurplusCreditsCharged が発生しない)も監視(§C-a-4 の Go/No-Go に含む)。m8g.2xlarge 化は Green 側(Switchover で反映)=「最終構成が m8g だから安心」ではなく interim は t4g.2xlarge で受ける点に注意。※当日 describe-db-instances で db5 の現行 class が t4g.2xlarge のままであることを確認してから consumer を移す。
# db5 は現在 client 接続ゼロ(idle)・現行 class=db.t4g.2xlarge(8vCPU/32GiB)。class は触らず storage(+IOPS/throughput は 400GiB baseline に自動昇格)のみ。
aws rds modify-db-instance --profile fdsys-admin --region us-east-1 \
--db-instance-identifier fastdoctor-manager-db5 \
--allocated-storage 400 --apply-immediatelyAWS公式(storage の変更 / I/O-intensive storage modifications / CHAP_Storage):
- online 操作=reboot 不要。「storage modification operations … have minimal impact on ongoing database operations」。多くは EBS 層に offload され「typically completed within a few minutes」。
- ただし 321→400GiB は gp3 の striping 閾値(<400GiB=1 volume / ≥400GiB=4 volumes)をまたぎ、volume を 1→4 に再構成する full-copy(I/O-intensive)になり得る。この場合 I/O 負荷が上がり所要が延びる(instance は Modifying/available のまま)。所要時間は状況依存:EBS 透過なら数分、I/O-intensive 経路では数時間〜(大容量・高負荷では)24時間以上に及ぶ可能性もある(AWS 公式は「a few minutes」〜「I/O-intensive で longer」と記すのみで明確な上限時間を示していないため「数時間で必ず終わる」とは断定しない。長めのメンテ窓・完了確認前提で計画)。低トラフィック帯に実施推奨し、§C-a-2 の完了確認を満たしてから consumer 切替へ進む。
- storage 変更中は性能低下があり得る(本番停止ではないが interim の I/O 余力に注意)。次の storage 変更まで一定の間隔が要る場合があるため、当日は 1 回で 400GiB に確定する。
<§C-a-1b> db1 の MaxAllocatedStorage を 500→1000 に引上げ(任意タイミング・online・reboot 不要)
独立作業(BG と非依存・いつでも可)。db1 は 2026-09-29 時点の本番実測では、AllocatedStorage / IOPS / Throughput の増強は不要で、必要なのは autoscaling 上限の拡張のみ(#19794 §5-a): 使用率 66.9%(Free 132GiB・増加 ≈0.32GiB/day)/IOPS ピーク 12,000 の 43〜78%(張り付きなし)・EBSBalance 99–100%・PI の IO wait 約3%。「storage 400/500GiB 逼迫」の 2時間毎警告は RDS autoscaling の ceiling 通知(
… approaching the maximum storage threshold 500 GiB. Increase the maximum storage threshold.)で、FreeStorageSpace 逼迫ではない(FreeStorageSpace Alarm も不在)。AllocatedStorage/IOPS/Throughput は変更しない。
# ※ MaxAllocatedStorage の変更は即時反映され Apply immediately を無視するため --apply-immediately は付けない
aws rds modify-db-instance --profile fdsys-admin --region us-east-1 \
--db-instance-identifier fastdoctor-manager-db1 \
--max-allocated-storage 1000
# 確認(Max=1000・Alloc=400 据置・Iops=12000/Thru=500 不変・pending なし・実拡張までコスト増なし)
aws rds describe-db-instances --profile fdsys-admin --region us-east-1 \
--db-instance-identifier fastdoctor-manager-db1 \
--query "DBInstances[0].{Alloc:AllocatedStorage,Max:MaxAllocatedStorage,Iops:Iops,Thru:StorageThroughput,Status:DBInstanceStatus,Pending:PendingModifiedValues}"<§C-a-2> storage 完了確認(consumer 切替の前に必達)
aws rds describe-db-instances --profile fdsys-admin --region us-east-1 \
--db-instance-identifier fastdoctor-manager-db5 \
--query "DBInstances[0].{Status:DBInstanceStatus,Alloc:AllocatedStorage,Iops:Iops,Thru:StorageThroughput,StorageType:StorageType,StorageOpStatus:StorageOperationStatus,StorageOpPct:StorageOperationPercentProgress,Pending:PendingModifiedValues}"フィールドは live 実在を確認済み(2026-09-28)。idle/完了時は
StorageOperationStatus/StorageOperationPercentProgressがnull、PendingModifiedValuesが{}。変更中は Status=storage-optimization等・StorageOperationStatus=Initializing/Optimizing・StorageOperationPercentProgress>0 になる。
GO(②→③へ): DBInstanceStatus=available AND AllocatedStorage=400 AND Iops=12000 AND StorageThroughput=500
AND StorageOperationStatus=null(進行中の storage 操作なし)AND PendingModifiedValues={}
NO-GO: 上記未達(Modifying/optimization 継続・pending 残り)→ consumer 切替へ進まない<§C-a-3> db6 新設 + online-ops を db4 → db6 へ切替 → ★手順は別紙〔2026-10-18 改訂・#21136〕
📄 実行手順は fastdoctor-manager-online-ops-reroute.md の ⓪(db6 作成)〜⑲ が正本。 当日手順とライフサイクルが異なる(移行の数日前に実施する独立作業・online-ops チームと連携)ため、本書にはゲートのみ残す。
- db6: PG12 /
db.t4g.2xlarge/ Multi-AZ / 400GiB(db1 から継承)/ us-east-1 / CPG =postgres12-fastdoctor-manager-replica-fresh(max_standby_streaming_delay既定30秒で作成 → 2026-10-20 15:08 に 120 秒へ変更(暫定)・rds.force_ssl=1)/ SG = online-ops NAT 2本のみ。10/30 の BG で green(PG16) が作られ、green 側で m8g.2xlarge 化する(§C-a-8)。 - 切替対象: online-ops の API と worker のみ。Secret の
FDSYS_DATABASE_URL(db4→db6)とFDSYS_US_REPLICA_DATABASE_URL(db3→db6・マイナ導線・2026-10-19 追加)。Redash / Trocco / Airflow は 10/14〜15 に db5 へ移行済みで触らない(Trocco の db7 移設は PG16 後)。 - ⚠️ マイナ導線は開始と戻りで読み先が割れると、差配画面への通知と dual-write を無音でスキップする(
fdsys-read-database.ts)。置換中〜置換後 48h はKarte not found for homeVisitTokenが 0 件であることを NO-GO 条件にする(別紙 §0-7)。 - Retool は変更しない(本番 pg_stat で Retool=db3・db4 非利用。db3 据置)。
- 方式: service scheduler による 段階的 task refresh(10→11→1台ずつ置換→10)。CodeDeploy deployment は起動しない/Canary・ECS Exec・pipeline も使わない(根拠は別紙 ①)。
- ⚠️ online-ops は 別アカウント(production
967691968827)・別リポジトリ・東京(ap-northeast-1)。secret 更新・ECS 操作は online-ops チームと連携して実施。 - ⚠️ db4(大阪) → db6(us-east-1) で DB 往復が +138ms になる(db5 で実測 11.8ms → 150.3ms)。これは設計上の必然であり、
latency 悪化をそのまま NO-GO にしない(閾値化は別紙 ⑯)。
完了判定(=§C-a-4 soak へ進む前提。1つでも欠けたら進まない)
[ ] 別紙 ⓪ の完了条件を全て満たす(db6 available / Multi-AZ / CPG=replica-fresh in-sync /
SHOW max_standby_streaming_delay=30s / CPG の rds.force_ssl=1 / SHOW ssl=on / SG=online-ops NAT のみ)
[ ] Secret online-ops-service の FDSYS_DATABASE_URL = db6 / FDSYS_US_REPLICA_DATABASE_URL = db6
(FDSYS_PRIMARY_DATABASE_URL = db1 は不変)
[ ] `Karte not found for homeVisitToken` が 0 件(マイナ導線の読み先の分裂が起きていない・別紙 §0-7)
[ ] API の全 task が置換済み(作業前に保存した OLD_TASKS が1件も残っていない)
[ ] desired / running / TG healthy = 10 / 10 / 10・task set は PRIMARY×1(ACTIVE なし)
[ ] worker(online-ops-service-main-worker)も db6 へ切替済み
[ ] Application Auto Scaling が作業前の保存状態へ復元済み(diff ゼロ・ScheduledAction 0件維持)
[ ] db4 の DatabaseConnections = 0
★db5 版と違い total=0 を条件にする(10/18 時点で db4 の consumer は online-ops のみ。別紙 ⑮)
[ ] 30分 soak で別紙 ⑯ の GO 条件を全て満たす
[ ] online-ops の通常デプロイ凍結を解除済み<§C-a-4> Consumer / performance soak → GO / No-Go ゲート(★db4 削除の前・必達)
# db6 側: 接続が来ているか + 接続元 host(想定 consumer か)
aws cloudwatch get-metric-statistics --profile fdsys-admin --region us-east-1 --namespace AWS/RDS \
--metric-name DatabaseConnections --dimensions Name=DBInstanceIdentifier,Value=fastdoctor-manager-db6 \
--start-time "$(date -u -v-1H +%FT%TZ)" --end-time "$(date -u +%FT%TZ)" --period 300 --statistics Maximum \
--query "sort_by(Datapoints,&Timestamp)[-3:]"
# 接続元 host は Performance Insights の db.host 次元 or 踏み台経由 pg_stat_activity(client_addr) で確認
# (踏み台: production-admin i-0f44005c3f7259513 経由 SSM port-forward → db6 の Public endpoint。preflight #14832 と同経路・read-only)
# db4 側: consumer 依存が 0 になったか(接続 0 + 想定 query が発生していない)
aws cloudwatch get-metric-statistics --profile fdsys-admin --region ap-northeast-3 --namespace AWS/RDS \
--metric-name DatabaseConnections --dimensions Name=DBInstanceIdentifier,Value=fastdoctor-manager-db4 \
--start-time "$(date -u -v-48H +%FT%TZ)" --end-time "$(date -u +%FT%TZ)" --period 3600 --statistics Maximum
# ★48時間すべての時間で Maximum=0 であること(瞬間値で判断しない。Trocco の不定期実行のような間欠接続を拾うため)
# db4 の実 consumer/query 消失は PI(db.sql_tokenized・直近24h) or 踏み台 pg_stat_activity で裏取り(rdsadmin 以外が居ないこと)
# db6 性能(interim 許容範囲か)。★interim の db6 は Blue の現行 class=db.t4g.2xlarge(T系=バースタブル)のままなので、
# CPU Credit(CPUCreditBalance が枯渇しない/CPUSurplusCreditsCharged が発生しない)も必ず監視する(credit metric は t4g の db4/db5 で取得可=2026-09-29 確認。db6 も同 class)。
for M in CPUUtilization CPUCreditBalance CPUSurplusCreditBalance CPUSurplusCreditsCharged ReadIOPS WriteIOPS ReadLatency WriteLatency DiskQueueDepth ReplicaLag DatabaseConnections; do
echo "== db6 $M =="; aws cloudwatch get-metric-statistics --profile fdsys-admin --region us-east-1 --namespace AWS/RDS \
--metric-name $M --dimensions Name=DBInstanceIdentifier,Value=fastdoctor-manager-db6 \
--start-time "$(date -u -v-1H +%FT%TZ)" --end-time "$(date -u +%FT%TZ)" --period 300 --statistics Maximum Average \
--query "sort_by(Datapoints,&Timestamp)[-2:]"
done
# DB Load / wait は Performance Insights(db.load.avg)で確認。online-ops application latency は Datadog APM(online-ops-service の fdsys DB span p95)で確認GO(db4 削除へ):〔2026-10-18 改訂・#21136〕
- db6: DatabaseConnections>0 かつ 接続元が online-ops(東京 NAT 2本)のみ
- db6: online-ops read API 正常 / 朝 05:30〜06:30 JST のバーストを1回以上経過して CPU・latency 正常
- db6: ReplicaLag が 30 秒前後以内(作成時は max_standby_streaming_delay=30s。2026-10-20 から 120s なので、60 秒超が続かないこと)
- db4: DatabaseConnections の Maximum=0 が 48 時間連続 / PI に rdsadmin 以外の workload なし(24h)
- db4: DeletionProtection=false に変更済み(2026-10-18 時点 true)
- db4: pg_stat_statements / pg_stat_activity をテキストで保全済み(削除後は取得不可)
- db6 性能: CPU / **CPU Credit(CPUCreditBalance が減り続けて枯渇しない・CPUSurplusCreditsCharged=0 または許容内)** / DB Load / ReadIOPS / WriteIOPS / ReadLatency / WriteLatency / DiskQueueDepth / ReplicaLag / DatabaseConnections
+ online-ops API 正常(Datadog APM latency)が許容範囲
※★interim は **Blue db6=db.t4g.2xlarge(バースタブル)** で旧 db4 workload を受ける(db4 も t4g.2xlarge=同規模だが、**T系のため CPU Credit 消費に注意**。m8g.2xlarge 化は Green 側)
NO-GO(db4 削除しない):
- db4 への接続/query が残っている、または
- db6 性能 / online-ops latency に問題(IOPS 詰まり・ReplicaLag 増・API 遅延・**CPUCreditBalance 枯渇 / CPUSurplusCreditsCharged 発生** 等)
→ secret を db4 へ戻す等で切り戻し、原因解消後に再ゲート<§C-a-5> db4(大阪 cross-region replica)削除
# read replica は final snapshot 不可 → --skip-final-snapshot 必須。
# automated backup: db4 は BackupRetentionPeriod=0・retained automated backup なし(2026-09-28 live 実測 / describe-db-instance-automated-backups=[])
# → --delete-automated-backups は対象ゼロ=実質 no-op。誤操作誘発を避け「付けない(default)」。
# (将来 retention>0 の replica を消す場合のみ、rollback/forensic 用途で保持要否を要決定)
aws rds delete-db-instance --profile fdsys-admin --region ap-northeast-3 \
--db-instance-identifier fastdoctor-manager-db4 --skip-final-snapshot
aws rds wait db-instance-deleted --profile fdsys-admin --region ap-northeast-3 \
--db-instance-identifier fastdoctor-manager-db4<§C-a-6> Cross-Region replica 不在確認(BG 作成の前提)
aws rds describe-db-instances --profile fdsys-admin --region us-east-1 \
--db-instance-identifier fastdoctor-manager-db1 \
--query "DBInstances[0].ReadReplicaDBInstanceIdentifiers" # 大阪 db4 ARN が消えていること(us-east-1 の db3/db5/db6 のみ。db6 は 2026-10-18 改訂で追加)<§C-a-7> Blue/Green 作成
# green primary=db1 / green replica=db3,db5,db6 が自動生成(db6 は 2026-10-18 改訂で追加・green は計4台)。green replica storage は green primary(400GiB)に自動一致。
# ※ §A/§B の logical CPG(postgres12-...-bg)・reboot は実施済前提。green writer CPG=postgres16-fastdoctor-manager
aws rds create-blue-green-deployment --profile fdsys-admin --region us-east-1 \
--blue-green-deployment-name fastdoctor-manager-pg16 \
--source arn:aws:rds:us-east-1:913831226605:db:fastdoctor-manager-db1 \
--target-engine-version <PG16-target> \
--target-db-parameter-group-name postgres16-fastdoctor-manager
# BG id / green 識別子(-green-xxxxx)取得
aws rds describe-blue-green-deployments --profile fdsys-admin --region us-east-1 \
--query "BlueGreenDeployments[?BlueGreenDeploymentName=='fastdoctor-manager-pg16'].{id:BlueGreenDeploymentIdentifier,status:Status,members:SwitchoverDetails[].{src:SourceMember,tgt:TargetMember}}" --output json<§C-a-8> Green 側で class + replica CPG を変更(Blue は reboot しない)
# green primary db1(基準案 m8g.2xlarge。#19794 decision rule で 4xlarge を選ぶ場合のみ db.m8g.4xlarge)
aws rds modify-db-instance --profile fdsys-admin --region us-east-1 \
--db-instance-identifier fastdoctor-manager-db1-green-xxxxx \
--db-instance-class db.m8g.2xlarge --apply-immediately
# green replica db3(class + ★鮮度重視 CPG。--target-db-parameter-group-name は全 green に writer CPG を当てるため replica は個別付替)
# 🛑 2026-10-18 訂正(#21136): 旧版は db3 にも postgres16-fastdoctor-manager-replica(max_standby_streaming_delay=1,080,000)を当てていた。
# db3 の現行 CPG(postgres12-fastdoctor-manager)は同パラメータ未設定=既定30秒で、実測 lag max 33 秒。
# ※ マイナ導線(FDSYS_US_REPLICA_DATABASE_URL)は 10/30 より前の reroute で db6 へ移る(別紙 §0-7)ので、10/30 時点の db3 は Retool 専用。
# それでも 10/30 では予算を変えない(Switchover と同時に挙動を変えない)。Retool 向けの見直しは別途。
aws rds modify-db-instance --profile fdsys-admin --region us-east-1 \
--db-instance-identifier fastdoctor-manager-db3-green-xxxxx \
--db-instance-class db.m8g.xlarge \
--db-parameter-group-name postgres16-fastdoctor-manager-replica-fresh --apply-immediately
# green replica db5(Redash + Airflow + 当面 Trocco。class + replica CPG=1,080,000 のまま)
aws rds modify-db-instance --profile fdsys-admin --region us-east-1 \
--db-instance-identifier fastdoctor-manager-db5-green-xxxxx \
--db-instance-class db.m8g.2xlarge \
--db-parameter-group-name postgres16-fastdoctor-manager-replica --apply-immediately
# green replica db6(online-ops 専用。class + ★db6 専用 CPG=E・180 秒(#21360 の UNION 版が本番に無ければ 300 秒))〔2026-10-18 追加・2026-10-21 改訂: D → E〕
aws rds modify-db-instance --profile fdsys-admin --region us-east-1 \
--db-instance-identifier fastdoctor-manager-db6-green-xxxxx \
--db-instance-class db.m8g.2xlarge \
--db-parameter-group-name postgres16-fastdoctor-manager-replica-db6 --apply-immediately🛑 CPG の割り当て(2026-10-18 改訂)
green CPG max_standby_streaming_delay理由 db3 postgres16-fastdoctor-manager-replica-fresh既定(30秒) Retool(マイナ導線は reroute で db6 へ移る)。10/30 では現行の 30 秒を変えない。Retool のクエリが殺されている問題(1 日約 118 件)に向けた予算の見直しは、Retool 担当と合意のうえ別途 db5 postgres16-fastdoctor-manager-replica1,080,000 Redash / Airflow / Trocco の長いクエリを殺さない db6 postgres16-fastdoctor-manager-replica-db6(E)180000(180秒)(#21360 の UNION 版が本番に無ければ 300 秒) ※下の ✅ online-ops(マイナ導線を含む)。blue db6(PG12 版 -fresh・暫定 120 秒)より長くし、冷えた状態で切り替わる Green に余裕を持たせるD(
-fresh)は別紙 online-ops-reroute ⓪-a で、E は下の手順で作成する。✅ 2026-10-21 決定・2026-10-23 改訂: green db6 の予算は 180 秒(E を当てる)。ただし #21360(Stage A の UNION 版)が本番に入っていなければ 300 秒(2026-10-20 の「未決」を置き換え。10/23 に一度 300 秒としたが、レビューを受けて条件付きに改めた。別紙 §0-8)
- 確認(2026-10-23): 本番の online-ops v1.135.0(10/23 14:03 JST デプロイ)に #21360(PR #21501)が入っている → 180 秒。E を作る前(10/28)にもう一度、本番の版(
custom.dd.version)が v1.135.0 以降であることを確かめる理由
- Green は冷えたまま作られる。2026-10-20 の reroute では、作成直後の冷えた db6 で Stage A が 32〜40 秒になり、30 秒予算で打ち切られ、1 本がプロセス停止に波及した。リハーサル(#21471)でも、冷えた Green db6 では OR 版の Stage A と処方箋一覧の候補取得(S3a)が 30 秒を超えてキャンセルされた
- 温まった状態でも 30 秒を超えるクエリが残る。S3a の「14 日分」は本番 db6 で最大 96 秒・平均 8.3 秒、「時刻なし」は最大 27 秒(#21497。最大値は冷えた 10/20 の外れ値と見られる)。恒久対策(#21497 の SQL 側ページング)は 10/30 に間に合わない
- blue db6 は 10/20 15:08 から 120 秒で動いている。それ以降、db6 のリカバリ競合は 0 件、ReplicaLag の最大は 65 秒(切り替え直後の提出経路記録ジョブ)。Green は 180 秒にする(blue の 120 秒より 60 秒長い)。blue は温まった状態で 120 秒だが、Green は冷えた状態で切り替わる。S3a の 14 日分(本番 db6 で最大 96 秒)に対して十分な余裕がある。Switchover で 120 → 180 秒に緩める方向なので、キャンセルが増える方向には変わらない(その分、鮮度は最大 180 秒まで落ちうる)
- 300 秒にするのは、#21360 が本番に無い場合だけ。その場合、冷えた Green で現行の OR 版の Stage A がどこまで延びるか読めない(リハーサルでは 163 秒)ので、キャンセルを避けるために大きく取る。ただしこれは OR 版の遅さを許容するという意味ではない(打ち切られなくても患者の画面で数分待たせる。§D-5-7 の GO は UNION 版の p95 300ms)
- 30 秒には戻さない(S3a が残るため。下げるのは切り替え後、下の条件で)
- D を直接上げない。D は green db3(Retool)と共用なので、db3 の挙動まで変わる(10/30 では db3 の予算を変えない)
トレードオフ(受け入れる): 長いクエリがあると、WAL の適用を最大 180 秒(300 秒の場合は 5 分)待つ。その間、db6 のデータはその分だけ古くなる(blue の 120 秒予算なら最大 120 秒、30 秒予算なら最大 30 秒)。待ち時間表示やマイナ導線(別紙 §0-7 の NO-GO 条件
Karte not found for homeVisitToken)に効くので、予算はなるべく小さく保つ。遅延は既存のfdsys-db6-replica-lag(avg(last_10m) で warning 60 秒 / critical 120 秒)で検知する。監視の閾値は変えない(2026-10-23 決定): 予算の範囲内でも、長いクエリが続くと 10 分平均で 120 秒を超え、critical が鳴りうる。鳴ったら、まず長いクエリを
pg_stat_activityで特定する(予算の範囲内の正常な遅延か、それ以外かを切り分ける)下げる条件(切り替え後に別作業): #21360・#21361・#21497(S3a の恒久対策) が本番に入り、#21179 / #21206 がデプロイ済みで、PG16 db6 で 7 日間キャンセル 0 件・ReplicaLag に 60 秒超の山が無いこと。E の値を変えるだけ(dynamic・reboot 不要)
E の作成(BG 作成前に。DDL ではないので期限の制約は無いが、§C-a-8 の modify より前に必須):
bashexport AWS_PROFILE=fdsys-admin AWS_PAGER="" ; R=us-east-1 # D(-replica-fresh・rds.force_ssl=1・max_standby_streaming_delay 既定)を複製する aws rds copy-db-parameter-group --region $R \ --source-db-parameter-group-identifier postgres16-fastdoctor-manager-replica-fresh \ --target-db-parameter-group-identifier postgres16-fastdoctor-manager-replica-db6 \ --target-db-parameter-group-description "PG16 green db6 (online-ops): max_standby_streaming_delay=180s (#21136/#21466)" # 180 秒にする(#21360 が本番に無い場合だけ 300000)。rds.force_ssl=1 も明示する(D を複製した時点の値に頼らない・§A の 🔴) aws rds modify-db-parameter-group --region $R \ --db-parameter-group-name postgres16-fastdoctor-manager-replica-db6 \ --parameters "ParameterName=max_standby_streaming_delay,ParameterValue=180000,ApplyMethod=immediate" \ "ParameterName=rds.force_ssl,ParameterValue=1,ApplyMethod=immediate" # 確認: E は 180000(または 300000)/ 1、D は既定(engine-default)/ 1 のまま(db3 が変わっていない) for G in postgres16-fastdoctor-manager-replica-db6 postgres16-fastdoctor-manager-replica-fresh; do echo "== $G ==" aws rds describe-db-parameters --region $R --db-parameter-group-name $G \ --query "Parameters[?ParameterName=='max_standby_streaming_delay' || ParameterName=='rds.force_ssl'].[ParameterName,ParameterValue,Source]" --output text done
- E が 180000(#21360 が本番に無い場合は 300000)/ 1 でなければ、§C-a-8 の db6 の modify に進まない
- 付け替え後も、Switchover 前に green db6 で Stage A・提出経路記録ジョブ・S3a を流して温め、値を取る(§D-5-4 の検証日・T-90)
- #21361 の部分索引は Blue/Green 作成前に db1 へ入れる(RDS PostgreSQL の BG は論理レプリケーションのため、作成後の DDL は green に反映されない)
🔴 db5 の
rds.force_sslは green も 0 にして blue に揃える(2026-10-19 改訂・#18087 と同型の全断を防ぐ) blue のpostgres12-fastdoctor-manager-replicaはrds.force_ssl=0(PG12 既定)で、green のpostgres16-fastdoctor-manager-replicaは何もしなければ1(PG16 既定)。このまま Switchover すると、db5 の consumer(Redash / Airflow / Trocco)に非SSL接続が1本でもあればno pg_hba.conf entry … no encryptionで拒否される。 SSL 確認の結果にかかわらず、Switchover 前に C を 0 にする(dynamic・reboot 不要):bashaws rds modify-db-parameter-group --profile fdsys-admin --region us-east-1 \ --db-parameter-group-name postgres16-fastdoctor-manager-replica \ --parameters "ParameterName=rds.force_ssl,ParameterValue=0,ApplyMethod=immediate" # 確認: 0 / user であること aws rds describe-db-parameters --profile fdsys-admin --region us-east-1 \ --db-parameter-group-name postgres16-fastdoctor-manager-replica \ --query "Parameters[?ParameterName=='rds.force_ssl'].[ParameterValue,Source]" --output text
- なぜ条件付きにしないか: blue db5 は現在も 0 で動いており、0 に揃えても後退はない(Switchover で挙動を変えない)。SSL 確認はその時間帯に接続していた consumer しか見えず、たまにしか来ない Airflow / Redash を取りこぼしうる。確認待ちで Switchover が止まることもなくなる。
- ⚠️ C を変えるのは別紙 ⓪-a(
-replica-freshの複製)の前でも後でもよい。⓪-a は-replica-freshにrds.force_ssl=1を明示するので、C を 0 にしても db3 / db6 は 1 のまま(別紙 ⓪-a の ⚠️)。E も作成時にrds.force_ssl=1を明示する(上の ✅)。- db5 で SSL を必須(1)にするのは PG16 移行後の別作業。全 consumer が SSL であることを Trocco 稼働中(07:00〜10:00 JST)に blue db5 で確認してから行う(read-only):
sqlSELECT coalesce(nullif(a.application_name,''),'(none)') AS app, host(a.client_addr) AS client, s.ssl, count(*) FROM pg_stat_activity a LEFT JOIN pg_stat_ssl s USING (pid) WHERE a.backend_type='client backend' GROUP BY 1,2,3 ORDER BY 4 DESC;- db1 / db3 は blue も
1、db6 は blue(-replica-fresh)も1で一致(online-ops の接続は全て TLSv1.2 を 2026-10-18 に確認済み)。 AWS公式(creating BG): green primary の class は作成時/作成後に変更可、green replica は green 作成後に手動 modify。green の reboot は green 側のみ=Blue(本番)は無影響。
<§C-a-9> parameter apply status 確認(pending-reboot なら Green だけ reboot)
# db1(writer CPG=postgres16-fastdoctor-manager) / db5(replica CPG) / db3(replica-fresh CPG) / db6(replica-db6 CPG) の ParameterApplyStatus を確認
for G in fastdoctor-manager-db1-green-xxxxx fastdoctor-manager-db3-green-xxxxx fastdoctor-manager-db5-green-xxxxx fastdoctor-manager-db6-green-xxxxx; do
echo "== $G =="; aws rds describe-db-instances --profile fdsys-admin --region us-east-1 \
--db-instance-identifier "$G" \
--query "DBInstances[0].{Class:DBInstanceClass,PG:DBParameterGroups[0].DBParameterGroupName,Apply:DBParameterGroups[0].ParameterApplyStatus,Status:DBInstanceStatus}" --output table
donein-sync → §C-a-10 validation へ
pending-reboot → 当該 GREEN DB だけ reboot(Blue は reboot しない)→ available 待ち → 再度 in-sync 確認# pending-reboot だった green のみ reboot(例)
aws rds reboot-db-instance --profile fdsys-admin --region us-east-1 --db-instance-identifier <green-id-in-pending>
aws rds wait db-instance-available --profile fdsys-admin --region us-east-1 --db-instance-identifier <green-id-in-pending><§C-a-10> Green validation(Switchover 前)
# RDS 面: 各 green の EngineVersion/Class/Storage/Apply/Replica/pending を確認
for G in fastdoctor-manager-db1-green-xxxxx fastdoctor-manager-db3-green-xxxxx fastdoctor-manager-db5-green-xxxxx fastdoctor-manager-db6-green-xxxxx; do
echo "== $G =="; aws rds describe-db-instances --profile fdsys-admin --region us-east-1 \
--db-instance-identifier "$G" \
--query "DBInstances[0].{Engine:EngineVersion,Class:DBInstanceClass,Alloc:AllocatedStorage,Iops:Iops,Thru:StorageThroughput,Apply:DBParameterGroups[0].ParameterApplyStatus,Status:DBInstanceStatus,Pending:PendingModifiedValues}" --output json
done
# replica の ReplicaLag(許容内か)
for G in fastdoctor-manager-db3-green-xxxxx fastdoctor-manager-db5-green-xxxxx fastdoctor-manager-db6-green-xxxxx; do
aws cloudwatch get-metric-statistics --profile fdsys-admin --region us-east-1 --namespace AWS/RDS \
--metric-name ReplicaLag --dimensions Name=DBInstanceIdentifier,Value="$G" \
--start-time "$(date -u -v-30M +%FT%TZ)" --end-time "$(date -u +%FT%TZ)" --period 300 --statistics Maximum
done- PostgreSQL 面(parameter / extension / role / publication・replication / invalid index / schema / connection)は 既存 §D / §F の Green 検証手順と検証スクリプト(
docs/sre/scripts/pg16-verify-*/ #18138)を利用(本節では重複させず参照)。 - Application / consumer 面: green の各 endpoint に対し read-only で db1(writer)/db3(reader)/db5(reader)/db6(reader) の疎通・主要クエリを確認(§D の Green 検証手順を利用)。
- ③ Retool(db3 据置)の生SQL PG16 互換検証(
db3-green(PG16) に対して実施・Switchover 前必達): Retool は db3 に残す(db4 非利用=今回 reroute しない)が、db3 自体は BG で PG16(+m8g.xlarge) 化される=「routing 不変=影響なし」ではない。Retool は生SQL を多用(本番 PI では db3 負荷の約58.7%が Retool 大型ダッシュボード query=#19794)のため以下を実施:- query 管理の所在: Retool の query は Retool 側(SaaS/self-hosted の resource・app 定義)に保持され本 repo/IaC には無い(DB 接続は Retool resource の Host 指定・§C-2 Retool 行参照)。→ query 一覧は Retool 管理画面から棚卸し(対象確定は Retool 担当と)。
- 対象: 主要 Dashboard / 高頻度・高負荷 query を優先。
- 観点(PG12→16・online-karte #16216 と同): 廃止/変更構文・暗黙キャスト差異・function/aggregate 差異・system catalog 依存・予約語・extension 依存・date/time・JSON/JSONB・array・CTE・ORDER/GROUP BY 挙動・PG 固有 function。
- 方式: raw SQL 多用のため static 目視だけでは不十分=
db3-green(PG16) で実 query を read-only 実行して確認。 - 合否: ①SQL error が出ない ②PG12 と主要結果の件数・値が一致 ③latency が著しく悪化しない ④extension/function/cast 非互換が無い。非互換は Retool 側 query 修正を Switchover 前 or 直後 hotfix 対象に。
- ⚠️ 本番 Retool の接続先を Green へ向ける変更は勝手に行わない(Retool は db3 据置)。検証は Green endpoint への一時的 read-only 接続等で・実施方法は Retool 担当と調整(本手順では方式提案のみ)。
- ③' Redash(db5 側)と online-ops(db6 側)の生SQL も同様に
db5-green/db6-green(PG16) で read-only 検証(同観点)。 - ③'' green db3 / db6 で
SHOW max_standby_streaming_delayが30s、green db5 が18min(§C-a-8 の CPG 割り当てどおりか)。
GO(Switchover 可): 各 green が EngineVersion=<PG16-target> / DBInstanceClass=目標 / AllocatedStorage=400 /
Iops・StorageThroughput=期待値 / ParameterApplyStatus=in-sync / replica 正常・ReplicaLag 許容 / PendingModifiedValues={}
AND PostgreSQL 検証(§D/§F・pg16-verify)合格
AND ③ 生SQL 互換確認:Retool(db3-green) / Redash(db5-green) / online-ops(db6-green) の主要クエリが PG16 で動作
NO-GO: 上記いずれか未達(特に ParameterApplyStatus=pending-reboot のまま/生SQL 非互換が未解消)→ Switchover しない<§C-a-11> Switchover 前 最終 GO / No-Go
GO(全て満たすこと):
[ ] Green 全 instance available(db1/db3/db5/db6-green)
[ ] EngineVersion=<PG16-target>(全 green)
[ ] DBInstanceClass=目標(db1 m8g.2xlarge / db3 m8g.xlarge / db5 m8g.2xlarge / db6 m8g.2xlarge)
[ ] ★CPG: green db3 = postgres16-fastdoctor-manager-replica-fresh(30秒)/ green db6 = postgres16-fastdoctor-manager-replica-db6(180秒。#21360 が本番に無ければ 300秒)/ green db5 = postgres16-fastdoctor-manager-replica(18分)〔2026-10-18・db6 は 2026-10-21 改訂〕
[ ] ★green db5 の CPG(postgres16-fastdoctor-manager-replica)が rds.force_ssl=0(blue db5 と一致)を describe で確認済み(§C-a-8・#18087 と同型)〔2026-10-19 改訂〕
[ ] ★green db6 の CPG(postgres16-fastdoctor-manager-replica-db6)が max_standby_streaming_delay=180000(#21360 が本番に無ければ 300000)・rds.force_ssl=1 で、green db3 の CPG(-replica-fresh)は既定(30 秒)のままであることを describe で確認済み。green db6 で Stage A・提出経路記録ジョブ・S3a を流して温めた(§D-5)〔2026-10-20 追加・2026-10-21 改訂: 予算を確定・2026-10-23 に条件付き(通常 180 秒)へ改訂・§C-a-8・別紙 §0-8〕
[ ] ★本番の online-ops の版が #21179(FDsys の接続プールのエラー処理)と #21360(Stage A の UNION 版)を含む(v1.135.0 以降。Datadog の `custom.dd.version` で確認)〔2026-10-23 追加。#21206 は自前の DB と mental-appointment の対策で、FDsys の切り替えとは関係ないのでゲートにしない〕
[ ] ★#21361(images の部分索引)を BG 作成前に db1 へ適用済み、または未適用で進む判断を記録した〔2026-10-20 追加〕
[ ] ★db1 / db3 の pending system-update を Switchover 週に自動適用させない手当て済み(事前適用 or メンテナンスウィンドウ変更)〔2026-10-18〕
[ ] ParameterApplyStatus=in-sync(pending-reboot なし・§C-a-9 済)
[ ] replication healthy / ReplicaLag 許容
[ ] db4 が存在しない(cross-region replica 不在・§C-a-6 済)
[ ] Blue db6 で online-ops、Blue db5 で Redash / Airflow / Trocco が正常稼働(§C-a-4 の soak 合格)
[ ] Green validation 合格(§C-a-10)
[ ] ③ 生SQL PG16 互換確認済(Retool→db3-green / Redash→db5-green / online-ops→db6-green の主要クエリが PG16 で動作・§C-a-10)
[ ] BG status=AVAILABLE(switchover blocking condition 無し)
[ ] rollback 方針確認(§ロールバック節)/monitoring 担当・作業チャネル確認
[ ] (推奨)online-ops main-worker を §C-a-11b で静止済み(desired=0・running=0)/または worker 非静止なら通知・5分マークを外した分を選定済み(§C-a-11b 代替)
NO-GO: 一つでも未達なら Switchover しない<§C-a-11b> online-ops worker の静止(Switchover 直前・任意だが強く推奨)
なぜ: online-ops main-worker は多数の cron を回す(
recall-push=毎分/reminder=*/3/*/5群/通知=毎時:00,:20,:30,:50等)。switchover の瞬断・書込フリーズ(約23秒)に cron が重なると、(a) fdsys primary 書込ジョブ(acute-insurance-card-recovery・*/5・retryLimit:0)の実行喪失、(b) 通知/ORCA 登録の中断→二重送信・二重登録の恐れがある。毎分ジョブがあるため「隙間を待つ」ことは不可=switchover 枠だけ worker を静止させるのが最も確実。fdm(fdsys)の切替は全社メンテ枠(JST 14:00-15:00)で実施(患者向けのオンラインメンテ枠 JST 2:00 とは別枠。混同注意)。この枠は全機能が停止しているため、worker 静止による通知遅延等の実害はほぼ無い。 対象: online-ops は別アカウント967691968827・東京ap-northeast-1・クラスタonline-ops-service-cluster。online-ops チームと連携して実施(fdsys 側だけでは完結しない)。api サービス(online-ops-service-service)は read 主体で据え置き可、cron を持つonline-ops-service-main-workerを止める。 タイミング: §C-a-11 の GO 確認後、§C-a-12 Switchover の直前に停止 → §C-a-13 で復帰。
export AWS_PROFILE=production-admin # ★account 967691968827(fdsys ではない)
R=ap-northeast-1 # ★東京(us-east-1 ではない)
CL=online-ops-service-cluster
# 0) 復帰用に現在の desiredCount を控える(2026-09-29 実測=1。当日必ず再取得して記録)
BEFORE=$(aws ecs describe-services --region $R --cluster $CL --services online-ops-service-main-worker \
--query "services[0].desiredCount" --output text)
echo "main-worker desiredCount(before)=$BEFORE" # ← この値を §C-a-13 で戻す
# 1) worker を停止(desired=0)。稼働中タスクが drain して cron が止まる
aws ecs update-service --region $R --cluster $CL \
--service online-ops-service-main-worker --desired-count 0
# 2) タスクが 0 になるまで待つ(cron 停止の確認)
aws ecs wait services-stable --region $R --cluster $CL --services online-ops-service-main-worker
aws ecs describe-services --region $R --cluster $CL --services online-ops-service-main-worker \
--query "services[0].{desired:desiredCount,running:runningCount}" --output json # running=0 を確認⚠️ worker を止めない場合の代替(推奨 A を採らないとき): 全社メンテ枠(JST 14:00-15:00)内で
:00 / :20 / :30 / :50(通知系)と 5 分マーク(*/5=ORCA 登録・fdsys 書込)を外した分(例 14:07 / 14:13 / 14:37)に switchover する。ただしrecall-push(毎分)・*/3は避けられない(OPS DB のみ・リトライ安全)。
<§C-a-12> Switchover(本番の計画停止はここのみ)
aws rds switchover-blue-green-deployment --profile fdsys-admin --region us-east-1 \
--blue-green-deployment-identifier <bg-id> --switchover-timeout 300AWS公式: switchover の停止は「typically under one minute(ワークロード次第で延びる)」・データ損失なし・名前と endpoint は green→本番へ引き継がれアプリ変更不要(consumer は endpoint 据置で db5 / db6 を継続参照)。旧 blue は
-oldNにリネームされる。
<§C-a-13> post migration monitoring + online-ops worker 復帰
(1) worker 復帰(§C-a-11b で停止した場合・Switchover 完了&green 健全確認後):
export AWS_PROFILE=production-admin ; R=ap-northeast-1 ; CL=online-ops-service-cluster
# §C-a-11b で控えた BEFORE(=停止前 desiredCount・実測1)に戻す。新タスクが起動し cron 再開+新 endpoint へ再接続
aws ecs update-service --region $R --cluster $CL \
--service online-ops-service-main-worker --desired-count "$BEFORE" # 別シェルなら数値を直接指定(例 1)
aws ecs wait services-stable --region $R --cluster $CL --services online-ops-service-main-worker
aws ecs describe-services --region $R --cluster $CL --services online-ops-service-main-worker \
--query "services[0].{desired:desiredCount,running:runningCount}" --output json(2) worker 再開の健全性確認(Datadog Logs service:online-ops-service-main-worker):
Main Worker heartbeat - running normally(5分毎)が復帰後に再開しているか=プロセス生存。Mental insurance auto-registration cron finished(5分毎)が出てfailedが平常内か。[pg-boss] Job failedや接続エラー(fdsys/appointment/OPS DB)が復帰直後に残っていないか。※switchover 直後に一時的に出ても、次周期で解消すれば再接続成功。残るなら §E-4 のforce-new-deployment。- fdsys の DB へのクエリが戻ったか(★ログでは分からない)〔2026-10-27 追加・同日レビューで改訂・#18882 の 2.・4.〕: heartbeat は DB を使わないので、生きていることしか分からない。DB 側の
pg_stat_activityでは NAT の IP にまとまり、API と worker を区別できないので、Datadog の APM 由来の集計値で見る。- ⚠️ span の一覧(トレース)では判定しない。span は間引かれる(
retainedby: flat_sampled/diversity_sampling)ので、5 分の枠で db6 や db1 の span が 0 件になることがある(10/27 実測)。また同じ service には online-ops 自身の Aurora(online-ops-service.cluster-…)へのクエリが大半を占めるので、peer.hostnameで絞らないと「span がある=fdsys に戻った」と読み違える - 見るもの(間引かれない集計値): Datadog Metrics で
sum:trace.pg.query.hits{service:online-ops-service-main-worker-postgres} by {peer.hostname}.as_count() sum:trace.pg.query.errors{service:online-ops-service-main-worker-postgres} by {peer.hostname}.as_count()peer.hostnameがfastdoctor-manager-db1.ceupzitfh2wh.us-east-1.rds.amazonaws.comとfastdoctor-manager-db6.ceupzitfh2wh.us-east-1.rds.amazonaws.comの 2 本を見る - 平常値(2026-10-27 14:05〜15:05 JST・5 分ごと): db1 18〜38 回・db6 7〜10 回で、どの 5 分の枠も 0 にならない。errors は 0(⚠️ errors はエラーが 0 件だとデータ自体が出ない。「No data」はエラー 0 と読む)
- OK の基準: worker の復帰後、5 分の枠 2 つ(10 分)続けて db1 と db6 の hits がどちらも 1 以上で、errors が増えていない(集計値の反映が数分遅れることがあるので、復帰から 15 分までは待つ)
- NG: 15 分たっても db1 か db6 の hits が 0 のまま、または errors が増え続ける → §E-4 の online-ops の
force-new-deployment(online-ops チームと連携)
- ⚠️ span の一覧(トレース)では判定しない。span は間引かれる(
(3) DB 監視: 既存 §F の事後手順(拡張更新・監視・後始末・TF 整合)を実施。ダッシュボード fastdoctor-manager-pg16-bluegreen(db1/db3/db5/db6。db6 のウィジェットは定義済み)+ #19794 の scale-up trigger(db1: 5分ピーク CPU>55% で 4xlarge 再検討/db3・db5: CPU・IOPS・ReplicaLag)を監視。
⚠️ worker 復帰忘れ防止: §C-a-11b で停止したら、本ステップで必ず desired を元値に戻す(停止のまま放置すると保険 ORCA 自動登録・リマインド等が全停止)。停止〜復帰は online-ops チームと連携し、完了をチャネルで相互確認する。
⚠️ 上記はコマンド例(当日は
describe-*の実値で<...>を確定。<PG16-target>は §C-a-0 の live 確認で決定し固定値で埋め込まない)。storage(§C-a-1)=Blue online / class(§C-a-8)=Green modify の面と順序を守る。db6 を新設する要件が確認された場合のみ、下記の従来 db6 手順(C-1〜)を代わりに用いる。🛑 2026-10-18 改訂(#21136): db6 の新設は確定したが、作成手順の正本は別紙 fastdoctor-manager-online-ops-reroute.md の ⓪。下記 C-1〜C-2 は使わない。 旧版との差: ① CPG は
postgres12-fastdoctor-manager-replica(1,080,000・force_ssl=0)ではなくpostgres12-fastdoctor-manager-replica-fresh(既定30秒・force_ssl=1)② SG は共有 replica SG の2枚差しではなく online-ops NAT 2本だけの db6 専用 SG ③--multi-az④ 切替対象は online-ops のみ(Redash / Trocco / Retool を db6 に向けない)。C-3〜C-5(db4 削除)は §C-a-5 と同内容で引き続き有効。
📌 db4 消費者の実測(SG allowlist + rule description 突合・2026-07 時点): db4 の Osaka SG(
sg-0ea8d35ab381b64fe)インバウンドは IP allowlist 11 件で、これが「db4 に接続を許可された全消費者」の母集合。各ルールの description より内訳は:
- Trocco(/32×5):
3.113.216.138・13.231.52.164・57.181.137.181・54.250.45.100・18.182.232.211- Retool: self-hosted
35.72.133.204(debt-manager-retool)+ SaaS3.77.79.248/30・35.90.103.132/30・44.208.168.68/30- fd-production platform NAT(online-ops 等):
3.113.154.169・18.178.147.64online-ops だけではない点に注意。replica SG(sg-03478eb403f69ef75) との突合では Trocco 5件・Retool SaaS 3件・production NAT 2件=10件は既収載、不足は Retool self-hosted
35.72.133.204の1件のみ。📌
pg_stat_activity実測(2026-07 時点): 常時接続していたのは production アプリ(online-ops)の NAT18.178.147.64(17 conns idle)・3.113.154.169(15 conns idle) のみ(usename=fdadmin・長寿命プール)。Trocco(/32×5)・Retool(self-hosted+SaaS)はこの時点で 0 接続だった。ただしpg_stat_activityは点の情報で、Retool(オンデマンド)・Trocco(バッチ)は間欠接続のため写らないだけ。切替対象は「実接続」ではなく上記 SG allowlist(全件)ベースで洗い出すこと(常時接続の主役=online-ops、という確認までが pg_stat_activity の役割)。接続確認は §B-5 と同経路で対象を db4 エンドポイントに差し替えて実施(踏み台 NAT3.113.154.169が db4 allowlist 内)。
📌 ★間欠 consumer は
pg_stat_statementsで確定できる(2026-08-26 追検証・Flow Logs 不要): db4 の VPC には Flow Logs が無いが、pg_stat の点情報で写らない間欠 consumer(Trocco)はpg_stat_statements(累積)で捕捉できる。実測:pg_stat_activityは2回(09:23/09:38 UTC)とも online-ops のみ(35接続・08/21〜継続) だったが、pg_stat_statementsに/* Username: Scheduled, Task ID: … *///* Username: hr_system@fastdoctor.jp, Task ID: … */注釈つきの数十億行(2.5B+)バルク読取が記録されており、Trocco の db4 実利用を確定(Trocco は Username/Task ID をクエリコメントに注入)。→ Trocco は SG allowlist だけでなく実利用も確定=db4 reroute 対象で正しい。
- 教訓: 常時接続 consumer は
pg_stat_activity、間欠 ETL(Trocco 等)はpg_stat_statements(WHERE query LIKE '%Task ID%')で判定する。Flow Logs 有効化は不要(一時的な db4 VPC に本番インフラを足す必要はない)。- us-east-1 の db1/db3/db5 では Trocco の実接続なし(7日 Flow Logs 0)=Trocco は大阪 db4 だけを読むため整合。
🔴 訂正(★pg_stat 全DB実測 2026-09-08・mental-online-karte#18675)— 上の「Trocco 確定」は誤り
踏み台経由で db1/db3/db4/db5 全台の
pg_stat_activity+pg_stat_statementsを実測した結果、上記の帰属に重大な誤りが判明した:
- db4 の
/* Username:…, Task ID:… */注釈は Trocco ではなく Redash。この形式はTask IDに加えQuery ID/Queue: queries|scheduled_queries/Query Hashを含み、Redash のannotate_query署名そのもの(Trocco はこの形式を出さない)。ユーザはScheduled/koichi.watanabe@fastdoctor.jp/hr_system@fastdoctor.jp。db4 実測 119 クエリ。- ⇒ db4 の間欠 BI consumer は Trocco ではなく Redash。Redash は db4 を実利用中=§C の reroute 必須(後述 §C チェックリストの「Redash は reroute 不要」は誤り・要訂正)。
- Trocco の db4 実利用は未確認(allowlist IP は live 接続に出ず・Task ID コメントも Redash のもの)。Trocco は SG allowlist にはあるが実利用の裏取りが取れていない=念のため repoint 対象に含めるが「実利用確定」ではない。
- db3:online-ops(read)+Retool(SaaS 35.90.103.x) の実接続あり。db5:実接続ゼロ=standby/未使用。db1:Rails(66)+online-ops(write)+dr-wi(3)。BI は db1 非接続。
- 判別の教訓(訂正):
WHERE query LIKE '%Task ID%'は Redash も Trocco も拾い得る。Query ID/Queue/Query Hashの有無で Redash を特定し、Trocco は接続ユーザ/別コメント形式で判別すること。- 深掘り結果(2026-09-08):
- Redash は db4 のみ(db3 の Redash 署名=0)。db1/db5 も無し。⇒ Redash の reroute 対象は db4→db6 のみ。
- runbook が「Trocco の 2.5B バルク読取」としたバルク業務クエリ(
medical_examinations/receptions/outside_prescriptions等の Kysely 二重引用符 SQL)は online-ops。⇒ db4 の大量読取の主は online-ops(Trocco ではない)。- Trocco は痕跡なし(db3=0・db4=
trocco文字列1件のみ・ETL バルクパターン無し)=allowlist にはあるが実利用の確証なし=ほぼ非稼働。repoint 対象には念のため含めるが、実利用の裏取りは別途(Trocco 接続設定の確認)。- Retool は db3(SaaS
35.90.103.xの実接続)。db5 は実接続ゼロ=standby。- online-ops は
online-ops-service-service+online-ops-service-main-workerの2サービス(DB 側 application_name 未設定で同一 NAT に混在)。- ℹ️ その他(低優先・非 prod-critical): 東京の MWAA(Airflow) が BQ データ転送で fdsys を参照(pg_stat では未特定・共有 NAT に混在の可能性)。壊れても本番影響なし=担当が気づいて直す範囲。§C で万一止まっても許容=厳密な repoint 必須リストには含めない(気にする程度でよい)。
⚠️ 順序が重要: online-ops を無停止で移すため、db4 を削除する前に新規レプリカを作成しておく。新規レプリカは db1 と同一リージョン(us-east-1)なので BG に取り込まれ、Switchover 後は PG16 replica になる(online-ops は endpoint 据え置きで継続参照)。
# C-1. online-ops 用の新規 read replica を us-east-1 に作成(db1 から。作成時点は PG12)
# ⚠️ postgres は read replica *作成時*に --db-parameter-group-name を指定できない
# (実エラー: "A parameter group can't be specified during Read Replica creation for the following DB engine: postgres")。
# → 作成時は指定せず source の PG を継承させ、作成後に modify-db-instance で付け替える(C-1a)。
# ⚠️ --publicly-accessible を明示(db3/db5 は PubliclyAccessible=true)。replica SG は公開IP allowlist のみで
# 成立しており、外部/クロスリージョン消費者(Trocco/Retool/production NAT の公開IP)は公開経路で接続する。
# db6 が private だと SG に CIDR を許可しても外部消費者が到達できないため public 必須。
# ★ストレージの落とし穴(staging 実測 2026-09-10): in-region read replica は primary の allocated_storage を継承する
# (primary 未満は指定不可)。staging では指定 50GB を無視して primary と同じ 400GB で作成された。
# ⇒ db6 も db1 と同容量(≈232GB)で作成される前提でコスト/枠を見積もる(小さく作れない)。
# ※ db4 は cross-region で別容量にできたが、db6 は in-region なので db1 と同容量になる。
aws rds create-db-instance-read-replica --region us-east-1 \
--db-instance-identifier fastdoctor-manager-db6 \
--source-db-instance-identifier fastdoctor-manager-db1 \
--db-instance-class db.t4g.2xlarge \
--publicly-accessible
aws rds wait db-instance-available --region us-east-1 --db-instance-identifier fastdoctor-manager-db6
# C-1a. 作成後に replica 用 PG を付け替え(作成時は指定不可のため)。SG は C-1a-2 で 2枚差しにする。
# 🛑 2026-10-18: 下記の postgres12-fastdoctor-manager-replica は使わない(1,080,000・force_ssl=0)。正本は別紙 ⓪-c(-replica-fresh)
aws rds modify-db-instance --region us-east-1 --db-instance-identifier fastdoctor-manager-db6 \
--db-parameter-group-name postgres12-fastdoctor-manager-replica \
--apply-immediately
aws rds wait db-instance-available --region us-east-1 --db-instance-identifier fastdoctor-manager-db6
# C-1a-1. ★PG 関連付け変更は pending-reboot になるため db6 を reboot して in-sync 化する。
# db6 はまだ誰も参照していない新規機なので本番断ゼロ。ただし ★online-ops 切替(C-2)より「前」に済ませる
# (切替後に db6 を reboot すると online-ops が瞬断する)。SG/public 変更(C-1a-2/3)は reboot 不要。
aws rds reboot-db-instance --region us-east-1 --db-instance-identifier fastdoctor-manager-db6
aws rds wait db-instance-available --region us-east-1 --db-instance-identifier fastdoctor-manager-db6
# C-1a-2. ⚠️ SG は「2枚差し」にする(要対応 / 採用方式=C):
# read replica は db1 の SG(fastdoctor-manager-db-sg / sg-018407e4d8bf95620)を継ぐが、それは app(Rails) 用で
# replica 消費者(online-ops/Trocco/Retool)を許可していない。db6 には次の 2つの SG を付与する:
# ・共有 replica SG (fastdoctor-manager-replica-db-sg / sg-03478eb403f69ef75) … db4 消費者 11件中 10件を許可済み
# (Trocco /32×5・Retool SaaS /30×3・production NAT×2)。db3/db5 と共通なので「参照」して二重管理(ドリフト)を避ける。
# ・唯一の不足= Retool self-hosted(35.72.133.204/32 = debt-manager-retool)。※Retool の SaaS 分(/30×3)は共有SGに既収載。
# 共有SGに足すと db3/db5 にも波及するため、db6 専用の小SGを作り Retool self-hosted だけを入れて db6 にのみ付与する
# (最小権限・撤去も小SG削除で完結)。
# ※ フル複製の専用SG(10件+Retool)は共通10件が二重管理になりドリフト源のため採らない。
# Retool を「どの replica でも読めてよい」運用なら、代わりに共有SGへ Retool を追加する簡易案でも可。
# (1) Retool 専用の小SG を作成(db6 と同じ VPC: vpc-fe806583)
DB6_RETOOL_SG=$(aws ec2 create-security-group --region us-east-1 \
--group-name fastdoctor-manager-db6-sg \
--description "db6 dedicated: Retool access rerouted from db4" \
--vpc-id vpc-fe806583 --query GroupId --output text)
aws ec2 authorize-security-group-ingress --region us-east-1 --group-id "$DB6_RETOOL_SG" \
--ip-permissions 'IpProtocol=tcp,FromPort=5432,ToPort=5432,IpRanges=[{CidrIp=35.72.133.204/32,Description="Retool (debt-manager-retool-production) rerouted from db4"}]'
# (2) db6 に「共有 replica SG + Retool 小SG」の2枚を付与
aws rds modify-db-instance --region us-east-1 --db-instance-identifier fastdoctor-manager-db6 \
--vpc-security-group-ids sg-03478eb403f69ef75 "$DB6_RETOOL_SG" --apply-immediately
aws rds wait db-instance-available --region us-east-1 --db-instance-identifier fastdoctor-manager-db6
# (共通10件は共有SGを参照するだけ=Trocco/production/SaaS の IP 変更時も共有SG更新のみでよくドリフトしない)
# C-1a-3. ⚠️ db6 は PubliclyAccessible=true 必須(db3/db5 と同様)。C-1 で --publicly-accessible を付け忘れた/
# source 継承で private になった場合は下記で修正。replica SG は公開IP allowlist のみのため private だと外部消費者が到達不可。
aws rds describe-db-instances --region us-east-1 --db-instance-identifier fastdoctor-manager-db6 \
--query "DBInstances[0].PubliclyAccessible" --output text # false なら↓で修正
aws rds modify-db-instance --region us-east-1 --db-instance-identifier fastdoctor-manager-db6 \
--publicly-accessible --apply-immediately # ← false の場合のみ
# C-1b. db6 の構成が期待どおり引き継がれたか明示確認(Public=true / SG=replica SG + db6専用(Retool)SG の2枚 を必ず確認)
aws rds describe-db-instances --region us-east-1 --db-instance-identifier fastdoctor-manager-db6 \
--query "DBInstances[0].{ID:DBInstanceIdentifier,Status:DBInstanceStatus,Engine:EngineVersion,Class:DBInstanceClass,\
Source:ReadReplicaSourceDBInstanceIdentifier,MultiAZ:MultiAZ,Public:PubliclyAccessible,Storage:StorageType,\
Allocated:AllocatedStorage,Iops:Iops,Throughput:StorageThroughput,PG:DBParameterGroups[0].DBParameterGroupName,\
PGStatus:DBParameterGroups[0].ParameterApplyStatus,SG:VpcSecurityGroups[*].VpcSecurityGroupId,SubnetGroup:DBSubnetGroup.DBSubnetGroupName}" \
--output table
# 踏み台→psql(read-only)で replica として使えるか確認
# SELECT pg_is_in_recovery(); -- t
# SHOW server_version; -- 12.22
# C-2. replica 参照元を db4 → db6 に切替(Secrets 更新 → ECS ローリング再デプロイ)。対象は下記「C-2 詳細」参照。
# (切替根拠・レイテンシ確認は #12732 / #14832 参照。db6 は us-east-1・専用)
# C-3. db4 削除前チェック(DeletionProtection / 接続0 / source / physical slot)
aws rds describe-db-instances --region ap-northeast-3 --db-instance-identifier fastdoctor-manager-db4 \
--query "DBInstances[0].{Status:DBInstanceStatus,DeletionProtection:DeletionProtection,\
Source:ReadReplicaSourceDBInstanceIdentifier,PG:DBParameterGroups[0].DBParameterGroupName,Endpoint:Endpoint.Address}" \
--output table
# DeletionProtection=true なら先に解除
aws rds modify-db-instance --region ap-northeast-3 --db-instance-identifier fastdoctor-manager-db4 \
--no-deletion-protection --apply-immediately # ← true の場合のみ
# C-4. db4 削除
# ★順序: C-2 で online-ops/Trocco を db6 へ切替えた後、db6 で問題なく稼働することを「様子見」で確認してから db4 を削除する。
# db4 は切替が安定するまでの【フォールバック】として残す(reroute に問題があれば db4 に戻せる)。
# ただし db4 削除は §D BG 作成の前提(クロスリージョン replica 排除)なので、BG 作成前までには完了させること。
# ⚠️ read replica は削除時に --final-db-snapshot-identifier を指定できない
# (実エラー: "FinalDBSnapshotIdentifier can not be specified when deleting a replica instance")。
# db4 のデータは source(db1) 側で担保されるため --skip-final-snapshot で削除する。
# (どうしても大阪リージョンに退避が必要なら、削除前に create-db-snapshot で手動取得しておく)
aws rds delete-db-instance --region ap-northeast-3 --db-instance-identifier fastdoctor-manager-db4 \
--skip-final-snapshot
aws rds wait db-instance-deleted --region ap-northeast-3 --db-instance-identifier fastdoctor-manager-db4
# C-5. 削除後: db1 の replica 一覧から ap-northeast-3 の ARN が消えたことを確認(=物理slot も解消)
aws rds describe-db-instances --region us-east-1 --db-instance-identifier fastdoctor-manager-db1 \
--query "DBInstances[0].ReadReplicaDBInstanceIdentifiers[]" --output table- [ ] db6(us-east-1 新規 replica)available・構成確認済(Source=db1 / MultiAZ / SG=replica SG + db6専用(Retool)SG の2枚 / SubnetGroup / PG=in-sync / Public=true)・
pg_is_in_recovery()=t - [ ] db6 に 共有 replica SG(sg-03478eb403f69ef75)+ Retool 専用小SG(
fastdoctor-manager-db6-sg)の2枚を付与済み(Retool35.72.133.204/32は専用小SGに。共有SG標準の 10 件には含まれないため) - [ ] online-ops / Redash が db6 参照へ切替済み。🔴 訂正(pg_stat 実測 2026-09-08): Redash は db4 を実利用中(119q)=reroute 必須(旧「Redash は stale=reroute 不要」は誤り・上記 §C 訂正注記参照)。Trocco は実利用未確認だが allowlist にあるため念のため repoint 対象に含める。★Retool は db3 据置=db4→db6 切替対象外(本番 pg_stat で Retool=db3・db4 非利用。上記 NOTE 参照)。※そもそも #19794 基準案では db6 を作らず db5 後継(§C-a)。本 db6 チェックリストは db6 新設要件が確認された場合のみ。
- [ ] 切替後の様子見: online-ops / Redash が db6 で問題なく稼働していることを確認(エラー率・レイテンシ/Redash は dashboard/scheduled query の成否)。db4 はこの確認が取れるまでフォールバックとして残す
- [ ] db4: 上記様子見OK後に削除(DeletionProtection 解除・接続0 確認 → 削除完了)。db1 の replica 一覧から ap-northeast-3 ARN 消失(物理slot
rds_ap_northeast_3_db_...解消)。※ ただし §D BG 作成の前までには削除を完了させる(クロスリージョン replica 排除が BG の前提) - [ ] db3/db5/db6(同一リージョン replica)は残す=BG が green(PG16) replica を作る(カスケードでないこと確認)
✅ 採用方式=上記(db6 を BG 作成前に作成し BG に載せる → Switchover 後そのまま PG16・窓中も online-ops 無停止)。 参考(不採用): 「Switchover 後に新 primary(PG16) から db6 を新規作成」案は、BG 窓の間 online-ops の読取先(db3 等)を別途確保する必要があるため採らない。 ※ BG が同一リージョン read replica を green(PG16) として作る挙動は staging で要検証(挙動確認のみ・方式は上記で確定)。
C-2 詳細: db6 への向き先変更対象(preflight #14832 / #12732 で特定)
replica(大阪 db4)を参照している具体的なツール/サービスは以下2つ。**BG 作成前(枠外)**に接続先を **db6(us-east-1 の新 replica)**へ切替える。
| # | 参照元 | 所在 | 接続方式 | 切替作業 |
|---|---|---|---|---|
| 1 | online-ops-service(アプリ・ECS) | 別リポジトリ mental-online-karte(projects/online-ops-service/api/) | ECS タスク定義で FDSYS_DATABASE_URL を Secrets Manager から valueFrom 注入。参照コード: src/database/kysely-replica-fdsys.service.ts(replica 読取)/src/database/prisma-fdsys.service.ts。 | 下記「ECS 切替方法」参照(Secret 更新 → force-new-deployment) |
| 2 | Trocco(BI/ETL) | Trocco 側の接続設定 | Trocco の DB 接続設定(read replica 参照) | Trocco の接続先ホストを db6 の endpoint に変更(転送ジョブが replica を読む設定)。 |
| 3 | Retool(BI・SaaS/self-hosted) | Retool の resource 設定(DB 接続) | Retool resource の Host に replica endpoint を指定(replica SG に Retool SaaS /30×3・self-hosted 35.72.133.204/32 を許可)。※staging では resource fastdoctor_manager の Host が大阪 replica・Usage 124 を実機確認(2026-08-04)。本番も replica SG に Retool 3件在籍=replica を実利用 | Retool の該当 resource の Host を db6 endpoint に変更 → Test connection → 依存アプリ/クエリで疎通確認。self-hosted 分は db6 専用小SG(fastdoctor-manager-db6-sg・§C-1a で作成)で許可済みを確認。 |
NOTE
#19794 基準案での Retool の扱い(本番 pg_stat 実測 2026-09-08 反映・上表 #3 を上書き): 本番の全DB pg_stat 実測では Retool は db3 を利用(db4 非利用)。したがって Retool は db4→(db5/db6) reroute の対象外=db3 に据え置く。上表 #3 の「Retool を db4→db6 へ変更」は Retool が db4 を利用していた旧想定/staging 観測に基づくもので、本番の基準案では適用しない(Retool の Host は変更しない)。この §C-2 の reroute 対象は online-ops + Redash +(実利用が確認できた場合のみ)Trocco。db6 を新設する場合も Retool は db3 のまま(今回変更しない・PG16 移行後の分散最適化は別 Issue)。
ECS 切替方法(online-ops-service)— 具体手順
NOTE
target endpoint(db5 / db6): 本節は例示を db6 で記載しているが、#19794 基準案(db6 を作らない・db5 を db4 後継)では target を db5 endpoint に読み替えて実施する(下記コマンドの DB6= に db5 endpoint fastdoctor-manager-db5.ceupzitfh2wh.us-east-1.rds.amazonaws.com を入れる)。基準案の具体手順は別紙 fastdoctor-manager-online-ops-reroute.md に db5 向けで記載済み(secret-id・サービス名・キー分離は本節と同一。相違は向け先 endpoint と、ECS 反映方式=段階的 task refresh)。db6 を新設する要件が確認された場合のみ、本節をそのまま db6 target で用いる。
🔑 なぜ Terraform ではなく CLI か(重要): この
FDSYS_DATABASE_URLの値は IaC 管理外。① terraform_for_aws の online-ops-service にはaws_secretsmanager_secret_version(値を TF 管理するリソース)が無い ② メイン Secret 本体も TF 定義なし(TF が作るのは twilio / remote_signature_client のみ)③ アプリ repo(mental-online-karte) の task-definition はvalueFromで ARN 参照するだけで値を持たない(コミット済みは localhost 用.envrcのみ)。⇒ 値は手動で Secrets Manager に保持されており、変更は CLIput-secret-value(or コンソール)で行う。TF apply でもアプリ再デプロイでも db4 に戻らない(task-def は ARN 参照のみで、新デプロイ時に新値を読む)。
構成(本番・実機検証 2026-07):
- アカウント / リージョン: production
967691968827/ap-northeast-1(東京)(ECS も Secret もここ。fdsys/us-east-1 の DB へクロスアカウント・クロスリージョン接続) - ECS クラスタ:
online-ops-service-cluster FDSYS_DATABASE_URLを使う ECS サービス(2つ・タスク定義の secrets から確認済):- API: サービス
online-ops-service-service(containeronline-ops-service-container) - main-worker: サービス
online-ops-service-main-worker(containeronline-ops-service-main-worker-container) - ※
online-ops-service-remote-signature-clientは FDSYS/DATABASE 系 secret を持たない=対象外
- API: サービス
- Secret: friendly name
online-ops-service(ARN...:secret:online-ops-service-jmbb7l)。⚠️ CLI の--secret-idはonline-ops-serviceか full ARN を使う(online-ops-service-jmbb7lを名前指定すると ResourceNotFound)。 - 変更キーは
FDSYS_DATABASE_URL(replica 読取)のみ。同 Secret のFDSYS_PRIMARY_DATABASE_URL(primary=db1 writer)は変更しない(BG でエンドポイント保持されるため)。 - ⚠️
valueFrom注入のため Secret 書換だけでは稼働中タスクは旧値のまま → 再デプロイで新タスクが新値を読む。 - 🛑 訂正(2026-10-07・実機確認): 本節の下記例は API も
force-new-deploymentとしているが、online-ops-service-service(API)は deployment controller=CODE_DEPLOY(BLUE/GREEN) で、update-service --force-new-deploymentでは再反映されない(no-op)。force-new-deploymentが有効なのは worker(online-ops-service-main-worker・ECScontroller)のみ。- ★API の反映方式は CodeDeploy
create-deploymentではなく「段階的 task refresh」を採る(10→11→1台ずつ stop→10)。CodeDeployECSAllAtOnceは実績d-UTKAS1JF9(2026-10-06)で task が 10→20→10 と倍増し(task set 2つが別 TG に並存)、AllAtOnceが指すのはトラフィック切替(0%→100% が 0.8秒)であることを確認済み。waitTimeInMinutes: 0/terminationWaitTimeInMinutes: 1のため段階的な露出も長い観察窓も取れない。 - 正本の db5 向け手順は別紙 fastdoctor-manager-online-ops-reroute.md(Auto Scaling の保存/復元・1台ずつ置換・rollback 対象の固定・GO/NO-GO を含む)。本節は db6 を新設する場合の参考に留める。
- ★API の反映方式は CodeDeploy
- 🛑
/healthzは FDSYS を見ない:/healthzはhealth.check([])=検査項目ゼロ。deep-health/health/dependenciesも mental-online-karte #20299 を入れるまではFDSYS_DATABASE_URLを検証しない(DATABASE_REPLICA_URL=online-ops 自前 DB のみ)。- ★ただし ALB target が healthy になった時点で db5 への実クエリ成功は構造的に保証される(2026-10-07 コード確認):
KyselyReplicaFdsysService.onModuleInit()のSELECT id FROM doctors LIMIT 1とPrismaFdsysService.onModuleInit()の$connect()がapp.listen()より前にFDSYS_DATABASE_URLに対して走り、失敗するとポート 3000 が開かないため TG healthy になり得ない。保証されるのは起動時点のみ(継続疎通・レイテンシ許容性は別途監視)。 - ★#20299 デプロイ後は deep-health の
checks[]にfdsys-replicaが入り、既存の Datadog 外形監視(Private Location → internal ALB:80 →deep-health / online-ops-service / degraded|unhealthy (prd))がそのまま fdsys 疎通の継続監視になる。ただしappointment-dbが恒常的に timeout して overall=degraded を出し続けている間は、fdsys の異常が既存アラートに埋もれて区別できない(2026-10-07 実測: 直近7日 41,726件・2026-09-23 時点から継続=mental-appointment PG16 移行より前からの既存事象)。当日の確認は Datadog Logs の per-task 判定で行う(アプリが落ちたチェックだけをtask_arnタグ付きで warn 出力するため、service:online-ops-service "deep health overall=" "fdsys-replica"が 0件であることで判定できる。詳細は別紙 ⑪-b)。無人運用の恒常監視としての per-check monitor は作業後に別途整備し、当日のブロッカーにはしない。
- ★ただし ALB target が healthy になった時点で db5 への実クエリ成功は構造的に保証される(2026-10-07 コード確認):
export AWS_PROFILE=production-admin ; R=ap-northeast-1
SECRET_ID=online-ops-service # ← friendly name(jmbb7l を名前指定しない)
CLUSTER=online-ops-service-cluster
# 0) 実行直前の現行 host 再確認(2026-07 実機確認済み: FDSYS_DATABASE_URL=db4 / FDSYS_PRIMARY_DATABASE_URL=db1)
# 実行時に db4 のままかを確認し、rollback 用に変更前 host を控える。primary(db1) は変更しない。
aws secretsmanager get-secret-value --region $R --secret-id "$SECRET_ID" --query SecretString --output text \
| python3 -c "import sys,json;from urllib.parse import urlparse;d=json.load(sys.stdin);print('replica host=',urlparse(d['FDSYS_DATABASE_URL']).hostname);print('primary host=',urlparse(d['FDSYS_PRIMARY_DATABASE_URL']).hostname)"
# 1) FDSYS_DATABASE_URL の host だけ db6 に置換(他キー・PW 保持・値は画面に出さない)。FDSYS_PRIMARY_DATABASE_URL は触らない
DB6=<db6 endpoint(C-1b で取得)> ; TMP=$(mktemp) ; chmod 600 "$TMP"
aws secretsmanager get-secret-value --region $R --secret-id "$SECRET_ID" --query SecretString --output text \
| DB6="$DB6" python3 -c 'import sys,json,os
from urllib.parse import urlparse,urlunparse
d=json.load(sys.stdin); u=urlparse(d["FDSYS_DATABASE_URL"])
d["FDSYS_DATABASE_URL"]=urlunparse(u._replace(netloc=u.netloc.replace(u.hostname,os.environ["DB6"])))
print(json.dumps(d))' > "$TMP"
aws secretsmanager put-secret-value --region $R --secret-id "$SECRET_ID" --secret-string file://"$TMP"
rm -f "$TMP" # 一時ファイル即削除(PW を残さない)
# 2) FDSYS を使う2サービスを force-new-deployment(新タスクが新 Secret を読む=ローリング再起動)
aws ecs update-service --region $R --cluster $CLUSTER --service online-ops-service-service --force-new-deployment
aws ecs update-service --region $R --cluster $CLUSTER --service online-ops-service-main-worker --force-new-deployment
# 3) デプロイ安定待ち
aws ecs wait services-stable --region $R --cluster $CLUSTER --services online-ops-service-service online-ops-service-main-worker- 切替後、online-ops の DB 接続エラーが出ていないこと・レイテンシ(Tokyo→us-east-1 は大阪より悪化)を Datadog APM(
service:online-ops-service)で確認。
Trocco(2): Trocco の該当データソース接続先ホストを db6 endpoint に変更 → テスト接続 → 次回転送ジョブ成功を確認。
Retool(3): Retool の該当 resource(例 staging では fastdoctor_manager=RDS Read Replica・Usage 124)の Host を db4/replica → db6 endpoint に変更 → Test connection → その resource を使うアプリ/クエリで疎通確認。self-hosted(35.72.133.204)は §C-1a の db6 専用小SG で許可、SaaS(/30×3・Frankfurt 3.77.79.248/30 含む)は共有 replica SG で許可済み。
⚠️ Retool は online-ops/Trocco と並ぶ replica 実 consumer(replica SG
sg-03478eb403f69ef75に Retool SaaS/30×3 在籍・2026-08-04 確認)。Host 変更を忘れると db4 削除(C-4)で Retool の全クエリが切れるため、C-2 で必ず db6 へ向け替える。pg_stat_activityは点情報で Retool(オンデマンド/日次バッチ)は写らないことがある=SG allowlist ベースで対象化(staging では Flow Logs で日次接続を捕捉)。
Redash: 🔴 訂正=reroute 必須(2026-09-08 全DB pg_stat 実測が下記 2026-08-04 判定を上書き)。db4 の pg_stat_statements に Redash の annotate_query 署名(Query ID/Queue/Query Hash・ユーザ Scheduled/koichi.watanabe@…/hr_system@…)で 119 クエリを実測=Redash は db4 を実利用中。→ 基準案では db4→db5、db6 新設時は db6 へ reroute 必須(該当 data source の Host を変更 → 疎通確認)。
〔superseded〕以下は 2026-08-04 の古い判定(当時は「未接続・reroute 不要」としていたが 2026-09-08 実測で否定): Redash(
fd-redash-cluster・acct967691968827)の data sourcefd_system_stagingは Host が削除済み旧 staging DBfastdoctor-manager-db.cubbyis0sjel.us-east-1(DBInstanceNotFound)を指す stale 設定に見えた。→ management 画面の data source 一覧が不完全だった可能性。実クエリは pg_stat が権威(BI ツールは Host 設定だけでなく実 pg_stat で裏取りする)。 ⚠️ 教訓: BI ツールの接続先は SG allowlist / Flow Logs だけでは判定不可(peered 経路で公開IP CIDR に出ない・staging で Retool/Trocco の実利用を SG で見落とした)。必ず各ツールの接続設定(Host)を直接確認する。Retool(本番 replica SG に SaaS/30×3 在籍)・Trocco(同/32×5)は replica 実 consumer だが、Redash は data source が stale で対象外。
⚠️ online-ops-service は**別リポジトリ・別アカウント(production 967691968827)**のため、Secret 更新・ECS 再デプロイは online-ops チームと連携して実施(fastdoctor-manager/fdsys 側だけでは完結しない)。 ⚠️ 現行の実接続先(db4 か db5 か)は手順0で最終確認(#12732 のチェック項目)。手順書は「大阪 db4 → db6」を前提だが、実際が db5 参照ならその旨反映する。
⚠️ 切替の前提: db6 は §C-1 で作成済み・available であること(未作成の状態で Secrets だけ変えると接続不能になる)。 ⚠️ online-ops-service は別リポジトリのため、Secrets 更新・ECS 再デプロイは online-ops チームと連携して実施する(fastdoctor-manager 側だけでは完結しない)。 ⚠️ 現行の実接続先(db4 か db5 か)は本番で最終確認(#12732 のチェック項目)。手順書は「大阪 db4 参照 → db6 へ」を前提に書いているが、実際が db5 参照ならその旨反映する。
- [ ]
FDSYS_DATABASE_URLの現行接続先を確認(db4/db5 のどれか・endpoint 指定か) - [ ] online-ops-service: Secrets を db6 に更新 → ECS rolling restart → 接続確認(online-ops チームと連携)
- [ ] Trocco: 接続先を db6 に変更 → テスト接続・転送ジョブ確認
- [ ] Retool: 該当 resource の Host を db6 に変更 → Test connection → 依存クエリ疎通(db4 削除前に必須・忘れると全クエリ切断)。self-hosted は db6 専用小SG、SaaS は共有SGで許可済みを確認
- [ ] 🔴 Redash: reroute 必須(2026-09-08 実測で上書き) — db4 の pg_stat_statements に Redash
annotate_query署名で 119 クエリ実測=db4 実利用。該当 data source の Host を db5(基準案)/ db6(新設時) へ変更 → 疎通確認(旧「reroute 不要・stale」判定 2026-08-04 は superseded)
§D. Blue/Green 作成(枠外・無停止)+ Green 検証
D-1. 作成前チェック
aws rds describe-db-instances --region $R --db-instance-identifier $SRC \
--query "DBInstances[0].{Status:DBInstanceStatus,Engine:EngineVersion,Backup:BackupRetentionPeriod,PG:DBParameterGroups[0].ParameterApplyStatus,MultiAZ:MultiAZ}" --output table
# target version 確認
aws rds describe-db-engine-versions --region $R --engine postgres --engine-version 12.22 --include-all \
--query "DBEngineVersions[0].ValidUpgradeTarget[?EngineVersion=='$TGT_VER'].EngineVersion" --output text
# 既存 BG / RDS Proxy が無いこと・クロスリージョン replica が無い(§C 済)こと
aws rds describe-blue-green-deployments --region $R --query "BlueGreenDeployments[?contains(Source,'$SRC')].BlueGreenDeploymentName" --output text
# logical replication の容量(踏み台→psql・db1): DB数+replica を賄えるか
# SHOW max_replication_slots; SHOW max_wal_senders;
# SHOW max_logical_replication_workers; SHOW max_worker_processes;
# Blue 側の WAL/ストレージ余力(232GB 同期中は Blue に WAL が保持される)
aws cloudwatch get-metric-statistics --region $R --namespace AWS/RDS --metric-name FreeStorageSpace \
--dimensions Name=DBInstanceIdentifier,Value=$SRC --start-time <start> --end-time <now> --period 300 --statistics Minimum
# 併せて TransactionLogsGeneration / TransactionLogsDiskUsage / OldestReplicationSlotLag も監視(同期中に増える)- [ ]
Status=available/Backup>0/ db1 の PG がin-sync=logical=on/ クロスリージョン replica なし / 既存BG・Proxy なし / target$TGT_VER可 - [ ] logical rep 容量:
max_replication_slots・max_wal_senders≥(対象DB数+replica+余裕)/max_logical_replication_workers・max_worker_processes十分 - [ ] Blue の
FreeStorageSpaceに十分な余裕(232GB 同期中は WAL が Blue に溜まる)。TransactionLogsDiskUsage/OldestReplicationSlotLagを同期期間中モニタ
D-2. Blue/Green 作成(source=db1 instance / target=PG16 / B CPG)
SRC_ARN=$(aws rds describe-db-instances --region $R --db-instance-identifier $SRC \
--query 'DBInstances[0].DBInstanceArn' --output text)
aws rds create-blue-green-deployment --region $R \
--blue-green-deployment-name $BG_NAME \
--source "$SRC_ARN" \
--target-engine-version $TGT_VER \
--target-db-parameter-group-name postgres16-fastdoctor-manager
# → BlueGreenDeploymentIdentifier(bgd-xxxx) を控える
BG=bgd-xxxxxxxxxxxxxxxx⚠️
--target-db-parameter-group-nameに指定した B は green 環境の 全 DB instance(writer+replica)に一旦適用される(AWS 公式)。replica 用 C は BG 作成時に個別指定できないため、Green 作成後または Switchover 後に green replica へ C を付け替える。 ⚠️ 付替直後はParameterApplyStatus=pending-reboot(PG の関連付け変更のため。C の param が dynamic でも同じ)。green replica を reboot して初めてin-syncになる(例:aws rds reboot-db-instance --db-instance-identifier <green-replica>)。Switchover 前に in-sync にしたい場合は green replica を reboot しておく(Switchover 後に付替+reboot でも可)。
# 例: green replica へ replica 用 CPG を付替 → reboot して in-sync 化
# 🛑 2026-10-18 訂正(#21136): 全 green に C(1,080,000)を当てない。db3 は鮮度重視の -fresh(既定30秒)、db5 だけ C。§C-a-8 の表を参照
# 🛑 2026-10-21 改訂: db6 は db6 専用の E(-replica-db6・180秒)。-fresh は db3 と共用なので db6 に当てない
aws rds modify-db-instance --region $R --db-instance-identifier <db3-green> \
--db-parameter-group-name postgres16-fastdoctor-manager-replica-fresh --apply-immediately
aws rds modify-db-instance --region $R --db-instance-identifier <db5-green> \
--db-parameter-group-name postgres16-fastdoctor-manager-replica --apply-immediately
aws rds modify-db-instance --region $R --db-instance-identifier <db6-green> \
--db-parameter-group-name postgres16-fastdoctor-manager-replica-db6 --apply-immediately
for g in <db3-green> <db5-green> <db6-green>; do
aws rds reboot-db-instance --region $R --db-instance-identifier $g
aws rds wait db-instance-available --region $R --db-instance-identifier $g
donePROVISIONING → AVAILABLE まで待機(232GB のため数時間かかり得る=必ず枠前):
aws rds describe-blue-green-deployments --region $R --blue-green-deployment-identifier $BG \
--query "BlueGreenDeployments[0].{Status:Status,Tasks:Tasks[].{Name:Name,Status:Status}}" --output json
# 進捗詳細(green の describe-events)でアップグレード進行を確認
# BG に db1/db3/db5/db6 相当が全て含まれるか(source/target member)を確認
aws rds describe-blue-green-deployments --region $R --blue-green-deployment-identifier $BG \
--query "BlueGreenDeployments[0].SwitchoverDetails[].{Source:SourceMember,Target:TargetMember,Status:Status}" --output table- [ ]
Status=AVAILABLE・全 Task COMPLETED。アップグレード中は Green のみオフライン(Blue=本番は稼働継続) - [ ] BG メンバーに db1 / db3 / db5 / db6 相当が全て含まれる(SwitchoverDetails で確認)
- [ ] ⚠️ green の read replica(db3/db5/db6 相当)の parameter group を確認し、db5 は C(
postgres16-fastdoctor-manager-replica)、db3 はpostgres16-fastdoctor-manager-replica-fresh、db6 は E(postgres16-fastdoctor-manager-replica-db6・180 秒) へ付け替え(2026-10-18 訂正・db6 は 2026-10-21 改訂) → 付替直後はpending-reboot。green replica を reboot してParameterApplyStatus=in-syncにする(B が全 green に適用されるため。develop/本番クローンで挙動確認済)
✅ green replica の C 付替+reboot は Blue 本番を止めずに実施できる(本番クローン検証で確認)。理由: レプリケーションは2層で、①Blue writer→Green writer(論理レプリ)は green replica の reboot と無関係に継続(Blue への書込は green writer に伝播し続ける=ロストなし)、②reboot 中の green replica は復帰後に green writer から streaming で追いつく(一時 lag のみ)。
作業中モニタリング(別ターミナルで繰り返し実行):
📊 事前に CloudWatch ダッシュボードを用意しておく(BG 同期・Switchover の両方で使える/チームの誰でも同じ画面で見られる)。ダッシュボード作成自体は別イシューで管理(mental-online-karte#15355)。対象メトリクス(AWS/RDS・db1/db3/db5/db6):
ReplicaLag/OldestReplicationSlotLag/TransactionLogsDiskUsage/FreeStorageSpace/DatabaseConnections/CPUUtilization/WriteIOPS。※ アプリ側指標(API エラー率・レイテンシ)は Datadog、DB インフラ指標は CloudWatch ダッシュボードで揃えると切替当日に見やすい。当日の CLI 監視は下記コマンドで補完。
export AWS_PROFILE=fdsys-admin ; R=us-east-1 ; BG=<bgd-xxxx> ; SRC=fastdoctor-manager-db1
# green replica の identifier(describe から取得。例: fastdoctor-manager-db3-green-xxxx)
GREEN_REPLICAS=$(aws rds describe-db-instances --region $R \
--query "DBInstances[?contains(DBInstanceIdentifier,'-green-') && ReadReplicaSourceDBInstanceIdentifier!=null].DBInstanceIdentifier" --output text)
# 1) Blue→Green replication status(StatusDetails=null / degraded が出ていない)
aws rds describe-blue-green-deployments --region $R --blue-green-deployment-identifier $BG \
--query "BlueGreenDeployments[0].{Status:Status,StatusDetails:StatusDetails}" --output json
# 2) Green replica の ParameterApplyStatus=in-sync(付替・reboot 後)
aws rds describe-db-instances --region $R \
--query "DBInstances[?contains(DBInstanceIdentifier,'-green-')].{Id:DBInstanceIdentifier,Status:DBInstanceStatus,PG:DBParameterGroups[0].DBParameterGroupName,PGStatus:DBParameterGroups[0].ParameterApplyStatus}" --output table
# 3) CloudWatch(直近20分・5分刻み・最大値)。macOS: date -u -v-20M / Linux: date -u -d '20 min ago'
ST=$(date -u -v-20M +%Y-%m-%dT%H:%M:%SZ 2>/dev/null || date -u -d '20 min ago' +%Y-%m-%dT%H:%M:%SZ) ; ET=$(date -u +%Y-%m-%dT%H:%M:%SZ)
# 3a) Blue(source) 側: FreeStorageSpace / TransactionLogsDiskUsage / OldestReplicationSlotLag
for M in FreeStorageSpace TransactionLogsDiskUsage OldestReplicationSlotLag ; do
echo "== Blue $SRC : $M =="
aws cloudwatch get-metric-statistics --region $R --namespace AWS/RDS --metric-name $M \
--dimensions Name=DBInstanceIdentifier,Value=$SRC \
--start-time $ST --end-time $ET --period 300 --statistics Maximum \
--query "Datapoints[].{t:Timestamp,v:Maximum}" --output text
done
# 3b) Green replica 側: ReplicaLag(reboot 後 0 へ収束するか)
for g in $GREEN_REPLICAS ; do
echo "== Green $g : ReplicaLag =="
aws cloudwatch get-metric-statistics --region $R --namespace AWS/RDS --metric-name ReplicaLag \
--dimensions Name=DBInstanceIdentifier,Value=$g \
--start-time $ST --end-time $ET --period 300 --statistics Maximum \
--query "Datapoints[].{t:Timestamp,v:Maximum}" --output text
done
- 1) StatusDetails=null(
Replication degradedが出ていない)/ 2) 全 green replica in-sync / 3a) FreeStorageSpace が減り続けていない・TransactionLogsDiskUsage/OldestReplicationSlotLag が急増していない / 3b) ReplicaLag が reboot 後 0 付近に収束 を確認。- SQL でも確認可(踏み台接続時): Blue writer で
SELECT application_name,state,replay_lag FROM pg_stat_replication;、green replica でSELECT now()-pg_last_xact_replay_timestamp() AS lag;。
D-3. Green 検証(read-only / ANALYZE)
green の writer エンドポイントへ SSM ポートフォワード(別ポート・例 15433)→ psql:
-- (1) バージョン・レプリケーション前提
SHOW server_version; -- 16.x
SHOW wal_level; -- logical
SHOW rds.logical_replication; -- on
SHOW shared_preload_libraries; -- pg_stat_statements を含む
SHOW default_transaction_read_only; -- on(Green は Switchover まで既定 read-only)
-- (2) pg_stat_statements 拡張の存在確認(fastdoctor-manager は既に導入済み=CREATE 不要。存在だけ確認)
SELECT name, default_version, installed_version
FROM pg_available_extensions WHERE name='pg_stat_statements'; -- installed_version が NULL でない(例 1.7)
-- (3) 論理レプリケーション subscription(BG が自動作成。手動 CREATE PUBLICATION/SUBSCRIPTION は不要)
SELECT subname, subenabled FROM pg_subscription; -- subenabled=t
SELECT subname, received_lsn, latest_end_lsn FROM pg_stat_subscription; -- lag ≒ 0Blue writer 側(別ポート・例 15432)で 論理レプリケーションの土台と遅延を確認:
SELECT pubname FROM pg_publication;
-- ⚠️ Blue は PG12。pg_replication_slots.wal_status は PG13+ の列で PG12 には無い(付けると ERROR: column "wal_status" does not exist)。PG12 では外す。
SELECT slot_name, plugin, slot_type, active,
pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), confirmed_flush_lsn)) AS slot_lag
FROM pg_replication_slots; -- plugin=pgoutput / slot_type=logical / active=t / slot_lag≒0
SELECT application_name, state, sync_state, replay_lag FROM pg_stat_replication; -- green への streaming(4) Blue とのデータ整合(Blue=15432 と Green=15433 で同じ SQL を実行し一致確認):
⚠️ 巨大テーブルで
count(*)/max(created_at)(created_at 未 index)は seq scan になり返らない(実地で中断)。PK のmax(id)は逆順 index scan で即時なので、巨大テーブルはmax(id)で一致確認する。小テーブルのみcount(*)。加えて Blue のslot_lag=0と Green のreceived_lsn=latest_end_lsn(lag=0)が取れていれば整合はほぼ確定しており、この count/max は spot check の位置づけ。
SELECT count(*) FROM schema_migrations; -- 小テーブルは count でよい
SELECT max(id) AS max_id FROM ocr_results; -- 巨大テーブルは PK の max(id)(即時)で Blue=Green 一致を確認
SELECT max(id) AS max_id FROM mobakar_api_logs; -- 79GB
SELECT max(id) AS max_id FROM audits; -- 53GB
SELECT max(id) AS max_id FROM patient_receptions;⚠️ pg_stat_statements は fastdoctor-manager では既にインストール済み(preflight #14832・
shared_preload_libraries=rdsutils,pg_stat_statements/拡張 1.7)。eligibility(Aurora) のようにCREATE EXTENSION pg_stat_statementsを実行する必要は無い(存在確認のみ)。PG16 既定版への更新は Switchover 後の §F(ALTER EXTENSION ... UPDATE)で行う。 論理レプリケーションの publication は AWS Blue/Green が自動作成する(FOR ALL TABLES相当)。手動CREATE PUBLICATIONはしない。伝播そのものの動作確認(Blue へ INSERT → Green へ伝播)は本番では業務データに test 書込みできないため実施しない(クローン・リハーサルでのみ実施=production-rehearsal.md 参照)。 ★ Switchover 前に Green で統計を作る(切替直後の性能事故防止・Blue 無負荷)。ただし Green は既定 read-only、ANALYZEは統計を書き込む=read-only ではないため、Green で事前実行するならセッション単位で明示的に off にする(RDS の logical replication 方式では Green への書込にdefault_transaction_read_only=offが必要)。
-- ⚠️ Green 側で実行する場合のみ。staging で事前検証必須。Green への書込は replication conflict / データ混入リスクがあるため ANALYZE 限定。
SET default_transaction_read_only = off;
ANALYZE VERBOSE;⏱️ 実測(本番クローン・232GB・全214テーブル):
ANALYZE VERBOSEに約 91分(IOバウンド)。巨大 TOAST テーブル(mobakar_api_logs79GB /audits53GB 等)のサンプル行 detoast × Green の cold cache × gp3 ランダム I/O が主因。⇒ 絶対にメンテ枠(1時間)に入れない。 【確定方針】Green 作成直後・Switchover 枠の 2時間以上前に、Green で無停止で pre-ANALYZE を流し切る(Green オフラインでも Blue 本番は無停止)。進捗はpg_stat_progress_analyze(PG16)/pg_stat_user_tables.last_analyzeで監視する。 ⚠️ psql 接続は踏み台ポートフォワード経由のため、90分の間に PC スリープ/セッション切断で ANALYZE が中断する(無害だが再実行)。caffeinate -i等でスリープ抑止し、接続を維持すること。 (※ 万一 pre-ANALYZE を流し切れなかった場合の保険として、Switchover 後(§F)に新 primary で ANALYZE しても機能はするが、切替直後に性能揺れが出るため原則は上記の事前実施とする。) 📊 (本番のみ・任意)pg_stat_statements ベースライン: Switchover 後の性能退行比較用に、実トラフィックのある Blue で事前に Top SQL を取得しておく(SELECT ... FROM pg_stat_statements ... ORDER BY total_time DESC LIMIT 50を CSV 保存)。⚠️ 列名は PG12(Blue) がtotal_time/mean_time、PG16(Green) がtotal_exec_time/mean_exec_time(読み替え)。クローンは無負荷のため取得しても意味が薄くリハーサルでは省略可。
- [ ] server_version=16.x / wal_level=logical / logical=on / preload に pg_stat_statements / default_transaction_read_only=on
- [ ] pg_stat_statements
installed_version非NULL /pg_subscription.subenabled=t/pg_stat_subscriptionlag≒0 - [ ] Blue: slot
plugin=pgoutput・active=t・slot_lag≒0/pg_stat_replicationに green への streaming - [ ] 主要テーブルの
max(id)(巨大テーブル・即時)と小テーブルcount(*)が Blue と一致(count(*)/max(created_at)の巨大テーブル実行は避ける) - [ ] (Green 事前 ANALYZE を行う場合)
SET default_transaction_read_only=offの上で ANALYZE 実行・staging 検証済み
Green は Switchover まで業務書き込み禁止(read と、上記の明示 off + ANALYZE のみ)。
ALTER EXTENSION等 DDL は Switchover 後(§F・writable になってから)。事前 ANALYZE を行わない場合は Switchover 後に ANALYZE してもよい。
D-4. Blue への DDL/migration 凍結(同期中)
BG 同期中(D-2〜E)は Blue(本番) へ DDL/migration/大量更新を流さない。〔2026-10-23〕凍結の期間は 10/29 朝の BG 作成から 10/30 の切り替えまで(約 1 日)。fastdoctor-manager の開発チームに、この期間は migration を含む PR のマージとデプロイを止めるよう事前に伝え、合意を取る。build-and-deploy.yml の Run db:migrate・migration を含む PR merge・sidekiq-scheduler の大量削除ジョブ(毎月20日 DeleteMobakarApiLogJob)を凍結。Replication degraded(StatusDetails≠null)が出ていないこと。
D-5. Green の cold-start 対策(warm-up)〔2026-10-21 追加・mental-online-karte#21466 / 値は #21471 のリハーサルで確定〕
なぜ必要か: 2026-10-20 の online-ops reroute では、スナップショットから作った直後の db6 が冷えていて、Stage A が 32〜40 秒・提出経路記録ジョブが 75.9 秒になり、recovery conflict → FATAL → online-ops のタスク停止まで進んだ(db6 の ReadLatency 最大 0.25 秒・普段の約 400 倍)。 Green も全台スナップショットから作られ、切り替えまで本番の読み取りが来ないので、何もしなければ冷えたまま切り替わる。 ⚠️ これは切り替え時の一時的な対策。冷えていても大量に読まない SQL / インデックス(#21360・#21361・
addressesの郵便番号検索など)は別途直す。warm-up で SQL の問題を隠さない。
D-5-1. 前提(公式資料・実測)
| 項目 | 内容 | 根拠 |
|---|---|---|
| ストレージ初期化 | gp2 / gp3 / io1 / io2 が対象。t3 / t4 系は対象外 | AWS(blue-green-deployments-creating.html の lazy-loading 節) |
| Green のクラス | 作成時に m8g は指定できない(--target-db-instance-class db.m8g.2xlarge は受理されるが約 1 分後に INVALID_CONFIGURATION: DBInstanceClass=db.m8g.2xlarge, Engine=postgres, EngineVersion=12.22 の組み合わせは作れない。Green はまず PG 12.22 のレプリカとして作られ、その後 PG16 に上がるため)。全台 t4g で作られ、作成後に m8g へ変更する | #21471 Case A(2026-10-21 実測) |
| クラス変更 | Multi-AZ フェイルオーバーを伴い、AZ(=使うボリューム)が入れ替わる(断 50〜55 秒・全体 約 15 分)。2 台並列でも問題なし。read はクラス変更の後に行う。変更後もストレージ初期化は始まらない | #20479 V6a / #21471 Case B(2026-10-21 実測) |
| 冷えたディスク | 連続読み込みは 1 本 約 12MB/s(2 本でも約 18MB/s)。飛び飛びの読み込みは 1 ブロック 60〜100ms(普段の 100 倍以上)。一度読めば、DB エンジンの再起動では OS キャッシュとともに残る(フェイルオーバーでは失われる) | #21471 |
| 切り替え | 書き込み停止 → 接続切断 → 追いつき待ち → 名前の付け替え(約 1 分半)。再起動は起きず、shared_buffers の常駐もそのまま残る(pg_postmaster_start_time() 不変・常駐量 6.3GB / 3.0GB を維持・代表クエリの時間も不変) | AWS / #21471 V10(2026-10-21 実測) |
| 切り替えの時間帯 | 全社メンテ枠 JST 14:00〜15:00(全機能停止中)。切り替え後、15:00 の業務再開前に確認できる | §C-a-11 |
D-5-2. DB ごとの方針
| DB | 方針 | 理由(2026-10-21 本番 read-only 実測) |
|---|---|---|
| db1 | warm-up する | Rails / Sidekiq / online-ops の主系参照。小〜中規模テーブルを 1 時間に数百〜数千回全件走査しており、ブルーではそれがメモリから返っている(ReadIOPS 平均 p50 約 12・ReadLatency 約 0.6ms) |
| db6 | warm-up する(改善後 SQL が触る範囲だけ) | online-ops(患者向け・同期)。recovery conflict の前歴あり |
| db3 | warm-up しない(リスク受容) | Retool。今でもメモリに収まらない運用(ヒット率 90%・1 回最大 49GB・平均 12 秒)。温めても重い集計で追い出される。切り替え後に代表クエリの成功だけ確認し、利用者へ事前周知 |
| db5 | warm-up しない(リスク受容) | Redash / Airflow / Trocco。今でもヒット率 93.6%・ReplicaLag の 1 時間最大 p95 1,060 秒。予算 18 分のため warm-up の長い文が WAL 適用を止める危険の方が大きい。切り替え後は「レプリケーションが進んでいて遅延が増え続けていない」ことと Redash 1 本の成功、翌朝の Trocco 所要時間を確認 |
D-5-3. pg_prewarm('read')(ストレージの読み切り)の要否 — 判定表
リハーサル(#21471)の結果: 作成時(t4g)も m8g へ変更した後も、ストレージ初期化は始まらなかった → db1 / db6 とも「必要」の行。 本番当日も各 green の StorageOperationStatus を記録し、万一始まっていれば完了を待つ(その場合は不要・縮小の行に切り替える)。
| V9 / 当日の状態 | db1 | db6 |
|---|---|---|
| Case A が成立し、green primary の初期化が完了 | 不要(クラス変更が無いのでフェイルオーバーも無い) | 下の行による |
| m8g への modify 後に初期化が始まり、10/29 の検証の前に完了 | 不要 | 不要 |
| 初期化が始まるが、10/29 の検証までに終わらない見込み | 縮小(代表クエリが触る範囲を先に読む。初期化は並行して続く) | 縮小 |
| 初期化が始まらない(t4g 由来で対象外のまま) | 必要(対象は約 20GB。D-5-5) | 必要(改善後 SQL の実行計画が触るテーブル・インデックスだけ。数 GB の見込み。D-5-5) |
buffer と代表クエリはどの行でも必要(初期化はディスクを温めるだけで、メモリは温めない)。
D-5-4. 実行の順番
〔2026-10-23 改訂〕BG の作成は 10/29(前日)にする(旧: 10/26〜29)。BG の同期中は Blue への DDL・migration を止める(§D-4)ので、凍結の期間を約 4 日から約 1 日(10/29 朝〜10/30 の切り替え)に縮めるため。代わりに、作成から検証までを 10/29 の 1 日で終える(下の目安)。
- DDL の期限が 10/25 → 10/28 に延びる(BG 作成の前日まで):
CREATE EXTENSION pg_prewarm、#21361 の部分インデックス(fastdoctor-manager PR #8921。10/28 のリリースに載せられる)。db4 の削除と E(§C-a-8)の作成も 10/28 までに- 10/29 の目安(JST): 09:00 BG 作成 → 約 45 分で AVAILABLE → クラス変更・パラメータグループ付け替え・reboot(約 50 分) → pre-ANALYZE(db1・約 91 分。並行して db6 の
read約 20 分) → db1 のread(約 28 分) → 待機側を温める(手順 5b・フェイルオーバー 2 台+もう一度read・約 40 分) → 15:00 ごろから検証 → 18:00 までに GO / 延期の一次判断- ⚠️ 余裕が小さい(リハーサルでは、Case A の失敗だけで約 1 時間延びた)。BG の作成やアップグレードが失敗した、検証で NO-GO になった、などで 18:00 までに見通しが立たなければ、10/30 の切り替えは延期する
- 判断者: 作業責任者(@yusa0730)。延期した場合の次の候補日は、判断のときに決める。次の候補日まで日があるなら、BG を削除して凍結(§D-4)を解き、候補日の前日に作り直す
- BG 作成前(〜10/28):
CREATE EXTENSION pg_prewarm;を db1 で 1 回だけ(REVOKE / GRANT はしない。DDL なので BG 作成後は不可)。#21361 の部分インデックスも同じ期限 - BG 作成(10/29 朝)→ 各 green の
StorageOperationStatusを記録 - green のクラス変更・パラメータグループ付け替え(これが最後の再起動・フェイルオーバー。db6 は E=180 秒・§C-a-8)→
StorageOperationStatusを再記録 - pre-ANALYZE(D-3)。冷えた green では 21 テーブルで約 39 分かかった(全体は 91 分以上を見込む)。踏み台の SSM は通信が無いと約 20 分で切れるので、psql に TCP キープアライブ(
keepalives_idle=30など)を付けるか、切れてもサーバー側で継続するのでpg_stat_progress_analyzeで完了を確認する - db1 / db6 で
read(D-5-3。リハーサルでは「必要」)。db1 約 20GB で約 28 分、db6 約 14GB で約 20 分 5b. 〔2026-10-23 追加・レビュー②〕Multi-AZ の待機側のボリュームも温める: green db1 / db6 だけreboot-db-instance --force-failover(断 50 秒程度。Green には本番のアクセスが無いので影響なし。Blue には何もしない)→ 新しい主系(さっきまでの待機側)で、もう一度read(手順 5 と同じ対象)。- 理由:
readは、その時点の主系のボリュームだけを温める。待機側はスナップショットから作られたまま冷えていて、10/30 以降に green(=新しい本番)がフェイルオーバーした瞬間に、冷えたボリュームが本番になる(10/20 と同じことが起きる) - ⚠️ 待機側が冷えているかは、リハーサルの実測(フェイルオーバーで AZ・ボリュームが入れ替わると速さが失われた)からの推論。フェイルオーバーの直後に代表クエリを 1 回流し、冷えた値(D-5-5a の「冷えた」列に近い)になることも記録しておく
- green db1 は論理レプリケーションの受け手なので、フェイルオーバーの間は Blue からの反映が数十秒止まり、その後追いつく(Blue への影響は無い)。終わったら BG の
Status=AVAILABLE・StatusDetails=nullを確認する
- 理由:
- 10/30 T-90: db1 / db6 で
buffer→ 代表クエリ(最後の再起動より後) - T-15: GO / NO-GO(D-5-7)
- T0 切り替え → 業務再開前(全機能停止中)に db1 / db6 で代表クエリを再実行し、GO 条件を再確認(推奨・保険。リハーサルでは切り替えでキャッシュは消えなかった。
pg_postmaster_start_time()が変わっていないことも記録) - 15:00 業務再開 → 30〜60 分監視(D-5-8)
〔2026-10-21 追加・2026-10-23 改訂〕T-90 を初回の検証にしない。 手順 5(
read)の後、10/29 の午後に、実際の Green で検証する(旧: 10/27〜28。BG の作成を 10/29 にしたため):
- Green db6 で、処方箋一覧の候補取得(S3a)を本番の 3 種類(主流・時刻指定なし・14 日分)× 5 回、Stage A(#21360 がデプロイ済みなら UNION 版、未デプロイなら OR 版を参考値)を流す
- Green db6 は E(180 秒)が付いた状態で測る(本番当日と同じ条件)。
pg_stat_database_conflictsと ReplicaLag が増えないことを確認する(Green には本番の読み取りが無いので安全に測れる)- 結果を #21466 に記録する。D-5-7 の GO を満たさなければ、10/29 18:00 までに温めの追加・予算の扱い・延期を判断する
- T-90 は 2 回目の確認とする
D-5-5. 実行の仕方(#21471 のリハーサルで確定)
- 1 回のサイズ: 32MB(4,096 ブロック)。冷えたディスクで約 3 秒、キャンセルは約 1.3 秒で効く。この間、green replica のリカバリ競合は増えなかったsql
-- first_block / last_block で 32MB ずつ区切って 1 文を短くする SELECT pg_prewarm('public.receptions'::regclass, 'read', 'main', 0, 4095); - 並列数: 1 本(2 本でも 1.5 倍程度。1 本で日程に収まる)
- 順番: 優先度の低いもの → 高いもの(最後に読んだものほど残りやすい)。最後に代表クエリ
readの対象(db1・約 20GB): 高頻度の全件走査テーブル(documents/patient_files/cp_mobakar_nursing_records/work_condition_notices/online_examination_queues/external_karte_addresses/lineworks_talkrooms/surveys/medical_examination_schedules/patients)、アクセス上位インデックス約 25 本、receptions/patient_receptions/medical_examinations/kartesの本体。addressesはインデックス追加が本筋で、間に合わない場合だけ対象に入れる。mobakar_api_logs/audits/ocr_results/reception_state_historiesは対象外readの対象(db6・約 14GB・約 20 分): 下の構成 A の索引(約 1.7GB)+medical_examinations/medical_examination_schedules/patient_receptions/receptions/kartes/patientsの本体を丸ごと(約 12GB)。旧 Stage A 用のindex_receptions_on_business_dateは対象外- 〔2026-10-21 追加〕処方箋一覧の候補取得(S3a・
queryFdsysCandidates)は直近 14 日分の受付についてこの 5 テーブルの本体を飛び飛びに読む。本番 db6 で行の位置を実測したところ、medical_examination_schedulesとpatient_receptionsは末尾に集中していたが、medical_examinationsは全体に、kartesも 1% が全体に散っていた(更新で行が空きブロックへ移るため)。末尾だけを読む方法では取りこぼすので、本体を丸ごと連続で読む(冷えたディスクで約 12MB/s)。S3a を 1 日分ずつ流す方法は飛び飛びの読み込みで 40〜70 分かかり、1 文が長くなって WAL の適用を止める(予算 300 秒でも、超えればキャンセルされる)ため、温めには使わず確認にだけ使う
- 〔2026-10-21 追加〕処方箋一覧の候補取得(S3a・
bufferの量(リハーサルで比較し、効果のある最小の量に決定):- db1: パターン A(約 2.6GB) — 主キー・外部キー索引、
cp_patients(cp_contract_id)、小さく高頻度で全件走査される表、medical_examination_schedules、patients。receptions本体(B)やaddresses本体(C)の上積みは小さい(C は郵便番号検索だけに効く=索引で解決する) - db6: 構成 A(索引だけ・約 1.7GB) —
patients/online_examination_queuesの本体を足しても差が無かった - ⚠️ 効いているのは
read(ディスクを一度読むこと)で、bufferの上積みは全件走査が 3〜4 割速くなる程度
- db1: パターン A(約 2.6GB) — 主キー・外部キー索引、
- 代表クエリ: 本番
pg_stat_statementsの SQL(db1: Rails 11 本+online-ops 3 本、db6: online-ops 9 本。#21471 参照)を、T-90 に 5 回ずつ流して p50 / p95 を取る。一覧・選んだ基準・リハーサルの値は下の D-5-5a
D-5-5a. 代表クエリの一覧と、リハーサル(#21471)での値〔2026-10-22 追加〕
選んだ基準
- db1: 本番 db1 の
pg_stat_statementsから、合計時間(total_time)・呼び出し回数(calls)・1 回に読む量が上位のものを選ぶ。冷えたときの遅れ方は SQL の種類で違うので、全件走査(大・中・小の表)/ JOIN・DISTINCT/索引 lookup が偏らないよう種類ごとに入れる。online-ops が db1(primary)を読む主な参照も入れる(O1〜O3) - db6: 2026-10-20 の読み先切り替え(db4 → db6)で遅くなった・失敗したクエリは必ず入れる(S1〜S3a)。加えて、online-ops の患者向け・オペレーター向けの主な画面のクエリ(S3b〜S5)
- R1〜R8 は SQL の書き方(ActiveRecord)から Rails、O・S は online-ops(Kysely の書き方。db6 は接続元からも確定)。
pg_stat_statementsには接続元が残らないので、db1 の帰属は推定 - 比べる基準は本番の平均(
mean_time)。Green も、リハーサルのクローンのブルーも冷えているため
SQL の取り方: 本番の pg_stat_statements から**正規化済みの SQL($1 などのまま・値を含まない)**を取り出し、Green で PREPARE → 実在する値で EXPLAIN (ANALYZE, BUFFERS) EXECUTE する。値は記録しない(記録するのは実行時間・hit / read だけ)。リハーサルで使った正規化済み SQL は、作業者の手元 ~/fdm-coldstart/queries/<db>-<名前>.sql(例: db6-S1_stageA_union.sql)にある。⚠️ 当日の作業者が別の人なら、事前に受け渡すこと
リハーサルの値(単位 ms。値は 1 回の実行。「冷えた」= クラス変更・pre-ANALYZE の後で warm-up の前=10/30 に何もしなかった場合と同じ状態。「read 後」= ディスクを読み込ませ、DB を再起動して buffer が空の状態。「本番の構成」= read の後に、db1 はパターン A・db6 は構成 A を buffer に載せた状態=10/30 に行う形)
| DB | 名前 | クエリ | 種類・選んだ理由 | 本番の平均 | 冷えた | read 後 | 本番の構成 |
|---|---|---|---|---|---|---|---|
| db1 | R1 | documents を source_id / source_type / kind で(2,216 回/時) | 高頻度の全件走査 | 5〜45 | 10〜122 ※ | — | — |
| db1 | R2 | medical_examination_schedules を state / schedule_start_at で(362 回/時・1 回 545MB) | 中規模の全件走査 | 185 | 866 | 168 | 110 |
| db1 | R3 | patients を kana_name で | 中規模の全件走査 | 103 | 791 | 107 | 65 |
| db1 | R4a〜d | surveys / patient_files / cp_mobakar_nursing_records / work_condition_notices | 小さな表の全件走査 | 10〜45 | 10〜51 ※ | 10〜51 | 5〜35 |
| db1 | R5 | 受付検索 SELECT DISTINCT receptions.id …(392 回/時・1 回 1.37GB) | JOIN・DISTINCT(読む量が大きい) | 97 | 3,009 | 60 | 57 |
| db1 | R6 | COUNT(DISTINCT receptions.id) | JOIN・DISTINCT | 315 | 3,231 | 72 | 73 |
| db1 | R7 | cp_patients を (cp_contract_id, patient_code) で(625 万回) | 呼び出し最多クラスの索引 lookup | 5 | 421 | 0.6 | 0.6 |
| db1 | R8 | addresses の郵便番号検索(索引なし) | 冷えた値の記録用。warm の対象にしない(索引の追加が本筋) | 450 | 2,781 | 424 | 411 |
| db1 | O1 | online-ops の差配まわりの参照(13.5 万回・1 回約 25MB) | online-ops の主系参照・JOIN | 117 | 308 | 76 | 70 |
| db1 | O2 | online-ops の online_examination_queues の LATERAL(11.8 万回) | online-ops の主系参照・JOIN | 21 | 92 | — | — |
| db1 | O3 | online-ops の work_schedules の索引 lookup(728 万回) | online-ops の高頻度の索引 lookup | 0.2 | 594 | 0.3 | 0.3 |
| db6 | S1 | 受診履歴 Stage A(UNION 版・#21360) | 10/20 にキャンセル → プロセス停止まで進んだ経路 | — | 405 | 0.2 | 0.2 |
| db6 | S1 | 受診履歴 Stage A(現行の OR 版・比較用に 1 回だけ) | 同上 | 1,795 | キャンセル | キャンセル | キャンセル |
| db6 | S2 | 提出経路記録ジョブ(images・#21361 の部分インデックスあり) | 10/20 に 75.9 秒 | 506 | 1,124 | 0.2 | 0.1 |
| db6 | S3a | 処方箋一覧の候補取得(#21497) | 10/20 に失敗した経路 | 20 | キャンセル | キャンセル | キャンセル |
| db6 | S3b | 処方箋一覧のカルテ詳細 | オペレーター向けの同期画面 | 9 | 3,909 | 2.4 | 2.4 |
| db6 | S3c | 処方箋一覧の薬剤パッケージ | 同上 | 2 | 884 | 0.2 | 0.2 |
| db6 | S4a | 運用画面の検索(select r.id, r.code, p.kana_name …) | オペレーター向けの主な画面 | 1 | 401 | 0.2 | 0.2 |
| db6 | S4b | 待ち行列(online_examination_queues) | 同上 | 44 | 3,165 | 36 | 35 |
| db6 | S5 | 待ち時間表示 | 患者向けの画面 | 1 | 3,635 | 2.9 | 2.7 |
※ R1・R4 は、冷えた状態の計測の前に pre-ANALYZE のサンプル読み込みでほぼ温まっていた。R1 と O2 は read 後の値を取っていない(—)
読み方
- 冷えた状態では、普段 1〜100ms のクエリが 0.3〜3.6 秒になる。初回の計画作成にも 1〜4 秒かかる(カタログも冷えている)
readだけで、ほぼ本番並みに戻る。bufferの上積みは全件走査(R2・R3)が 3〜4 割速くなる程度- 切り替えの前後で値は変わらなかった(例: R5 42 → 42ms、S5 1.2 → 1.1ms。切り替えで再起動せず、キャッシュが残るため)
- 温めても救えないのは S1(OR 版)と S3a。受付テーブルなどを広く飛び飛びに読むため、温めきれていない部分に当たると 30 秒を超えてキャンセルされる(S1 OR 版は切り替え後に完走した例でも 163 秒、S3a は 37 秒の回も 84ms の回もある)。S1 は #21360(UNION 版)で直す。S3a は §D-5-5 の
readの範囲を広げて受け、検証日に本番と同じ形で測る(リハーサルの S3a は状態の値などが推測値だった)
当日(T-90・業務再開前)の使い方
- GO / NO-GO の判定は D-5-7 の基準(本番の平均との比較)で行う。上の「本番の構成」の列は、正常に温まっていれば出るはずの値の目安
- 「本番の構成」の値より大きく遅い(目安: 3 倍超)クエリがあれば、そのクエリが触るテーブル・索引の
readが終わっていないか、最後のフェイルオーバーより前に読んでいないかを疑う - 検証(10/29 午後)の値もこの表の横に記録し、T-90 の値と比べる
D-5-6. STOP 条件(数値の根拠は 2026-10-07〜21 の CloudWatch 実績と #21471 のリハーサル実測)
| DB | 指標 | WARN | STOP | 根拠 |
|---|---|---|---|---|
| db1 | ブルーの OldestReplicationSlotLag | 100MB、または 15 分間増え続ける | 2GB または 30 分間増え続ける | リハーサルでは warm-up・pre-ANALYZE 中も最大 1MB(適用を遅らせなかった)。平常は 1 時間最大の p95 が 1.4MB(最大 63MB)。WAL 生成は平均約 0.8GB/時なので、100MB ≒ 7〜8 分、2GB ≒ 2.5 時間分の適用遅れ。2GB はストレージの危険値ではなく(FreeStorageSpace 137GB に対し WAL 保持で危険になるのは数日後)、warm-up のためにそこまで適用を遅らせる理由がないので止める、という運用上の安全弁 |
| db1 | ブルーの FreeStorageSpace | 120GB 未満 | 100GB 未満 | 平常 137GB |
| db1 | ブルーの WriteLatency / CPUUtilization | p95(24ms / 43%)を 5 分超える | 2 倍を超える | warm-up は green 側の I/O。ブルーに変化が出たら異常 |
| db1 | green の論理レプリケーション遅延 | 5 分以上で増え続ける | 15 分以上 | 切り替え時に追いついている必要がある |
| db6 | pg_stat_database_conflicts | — | 1 件でも増える | 1 文が長すぎる証拠。サイズを下げて再開 |
| db6 | ReplicaLag | 30 秒 | 60 秒 | リハーサルでは read の間 0 秒。予算は 180 秒(E)だが、warm-up のために鮮度を 1 分以上落とす理由は無いので、予算より手前で止める(2026-10-21 改訂: 予算 30 → 180 秒。閾値は変えない) |
| db1 / db6 | 1 回の所要時間(32MB) | 5 秒 | 10 秒 | 冷えたディスクで約 3 秒(リハーサル実測)。予算(180 秒)より十分短く保つ。リハーサルは 30 秒予算で、この大きさならキャンセルは 0 件 |
| db1 / db6 | green の ReadLatency / DiskQueueDepth | — | STOP の指標にしない | 冷えたディスクを読んでいる間は高いのが正常(リハーサルで最大 78〜82ms / 11.7) |
STOP したら pg_cancel_backend(pid) で止める(ブロックごとに割り込みを確認するので即座に止まる。読むだけなので害はない)。
D-5-7. GO / NO-GO(T-15 と、切り替え後・業務再開前)
| DB | GO | NO-GO |
|---|---|---|
| db1 | 代表クエリ(5 回)の p50 がブルーの mean_time の 1.5 倍以内・p95 が 2 倍以内・絶対値 3 秒以内/green の ReadLatency(15 分平均)2ms 以下/DataFileRead が DB 負荷の主因でない/論理レプリケーションが caught_up/ブルーの WAL 保持が平常 | 顧客の経路のクエリが 3 倍超または 5 秒超/ReadLatency 10ms 超 |
| db6(処方箋一覧の候補取得・S3a・3 種類 × 5 回) | 主流(時刻指定あり): 中央値 50ms 以下・最大 1 秒以下/時刻指定なし: 中央値 1 秒以下・最大 5 秒以下/14 日分: 中央値 10 秒以下・最大 20 秒以下/15 回すべて成功・confl_snapshot の増加 0 | 主流で最大 5 秒超/時刻指定なしで最大 15 秒超/14 日分で 1 回でも 25 秒超/キャンセルが 1 件でもある |
| db6 | Stage A(UNION 版)p95 300ms 以下/insurance-route-record(部分インデックス使用)1 秒以下/主要クエリが現 db6 の 1.5 倍以内/recovery conflict 0・キャンセル 0/遅延 10 秒未満 | 2 倍超/5 秒超/競合・キャンセルが 1 件でもある |
| db3 / db5 | 代表クエリが成功する/レプリケーションが進んでいる(性能の基準は設けない) | 失敗する/レプリケーションが止まっている |
shared read = 0は要求しない(ブルーでも物理読み込みはある)。基準は「ブルーと同じくらいか」。 #21360 が 10/29 までにデプロイされない場合の扱い(例外として旧 SQL を受け入れるか、延期するか)は #21466 で判断・記録する。 ⚠️ リハーサルでは、現行(OR 版)の Stage A と処方箋一覧の候補取得は、温めても冷えた部分に当たると 30 秒を超えてキャンセルされた(切り替え後は 163 秒で完走した例もある)。UNION 版は冷えていても 405ms。温めでは救えないので、#21360 は 10/30 前に入れる優先度が最も高い。 ⚠️ Green db6 の予算を上げても(§C-a-8)、OR 版は救えない(リハーサルでは 163 秒で完走した例もある。打ち切られなくても、患者の画面で数分待たせることになる)。予算は「30〜180 秒で終わるクエリをキャンセルさせない」ための逃げ道で、遅いクエリを速くするものではない。GO の判定は予算ではなく所要時間で行う(上の表)。
D-5-8. 切り替え後の監視(業務再開から 30〜60 分)
- db1 / db6(最優先): APM の p50 / p95・エラー率、DataFileRead、ReadLatency、ReadIOPS、DiskQueueDepth、CPU、FreeableMemory、接続数。db6 は ReplicaLag と recovery conflict も(予算 180 秒なので、長いクエリがあると ReplicaLag は 180 秒近くまで上がりうる。60 秒超が続いたら長いクエリを
pg_stat_activityで特定する。fdsys-db6-replica-lagは warning 60 秒 / critical 120 秒なので、critical が鳴っても予算内のことがある) - db3 / db5: レプリケーションの進み具合と代表クエリ 1 本の成功。翌朝は Trocco の所要時間
- 翌朝以降の db5 の見方(2026-10-30 本番の実績・mental-online-karte#22381)〔2026-11-02 追加〕
- 5:30 のクリニック同期(
MobakarAllClinicsSyncJob)は、各クリニックの同期を順番待ちに積むだけのジョブで、数秒で終わる。trace.sidekiq.job.hits{resource_name:mobakarallclinicssyncjob}が毎朝 1・errorsが 0 なら OK。各クリニックの同期(MobakarClinicPatientsSyncJob)が 1 日数件しか進まないのは既存事象(#22180)で、切り替えの良し悪しの判定には使わない - Trocco の所要時間は Datadog に出ない。db5 の Performance Insights(
db.load.avgをdb.application.name=trocco.ioで絞る)で、1 日の負荷の合計と時間帯を切り替えの前後で比べる。⚠️ PI はインスタンスごとに記録されるので、切り替え前の値は旧 db5(fastdoctor-manager-db5-old1)のDbiResourceIdで取る。旧 db5 を消すと取れなくなる(§F-3 の削除前に済ませる) - 実績:時間帯は前後とも毎朝 8〜9 時台(JST)で同じ。負荷の合計は 0.75〜0.82 → 0.87〜0.99(約 1〜2 割増え)。db5 の負荷の大部分は Redash のクエリで、Trocco(
FETCH FORWARD 10000 FROM cur)は最大 0.43 - db5 の ReplicaLag は 18 分(
max_standby_streaming_delay)を超えることがある。切り替え前の最大は 1,072 秒だったが、切り替え後は 1,769 秒(約 29 分)まで伸びた(毎朝 6〜9 時台。設定値は新旧で同じ 1080000 を確認済み)。長いクエリが 18 分で打ち切られた後、止まっていた間にたまった更新の反映に時間がかかるためと見ている。online-ops は db5 を読まないので利用者の画面には影響しないが、その時間帯は Redash / Trocco のデータが古くなる
- 5:30 のクリニック同期(
§E. メンテ枠:Switchover(低トラフィック帯・1時間枠)
snapshot は枠開始前に available(例 T-60 開始・232GB で数分では終わらない前提)、**最終ゲートは T-15〜T0(無停止)**で済ませ、1時間枠は Switchover+事後検証+ロールバック判断バッファに集中(procedure-production.md「メンテ枠の時間設計」準拠)。
E-0. Switchover 前スナップショット(PG12)— メンテ枠開始前に available 必須
⚠️ 232GB 規模のため取得完了が数分で終わる保証はない。T-8〜T-3 に固定せず、余裕を持って(例: T-60)開始し、
availableになっていることを GO 条件にする(枠内で待たない・available でなければ枠を開かず延期)。
SNAP=${SRC}-pre-pg16-$(date -u +%Y%m%d%H%M)
aws rds create-db-snapshot --region $R --db-snapshot-identifier "$SNAP" --db-instance-identifier "$SRC"
aws rds wait db-snapshot-available --region $R --db-snapshot-identifier "$SNAP" # 完了まで待つ(枠開始前に済ませる)
aws rds describe-db-snapshots --region $R --db-snapshot-identifier "$SNAP" \
--query "DBSnapshots[0].{Snap:DBSnapshotIdentifier,Engine:EngineVersion,Status:Status}" --output table # Engine=12.x / Status=available- [ ] PG12 スナップショット available(Engine 12.x)を枠開始前に確認・名前/時刻を Issue 記録(available でなければ GO しない)
E-1. 最終ゲート(GO/NO-GO)
aws rds describe-blue-green-deployments --region $R --blue-green-deployment-identifier $BG \
--query "BlueGreenDeployments[0].{Status:Status,StatusDetails:StatusDetails,Sw:SwitchoverDetails[].Status}" --output json- [ ] BG
Status=AVAILABLE/StatusDetails=null/SwitchoverDetails各メンバーAVAILABLE - [ ] 本番の online-ops の版が v1.135.0 以降(#21179・#21360 を含む。
custom.dd.version)〔2026-10-23 追加〕 - [ ] replica lag ≒0(green CloudWatch
ReplicaLag) / 長時間tx=0 / DDL凍結済 / snapshot available / 監視mute / DNS TTL / online-ops は db6(新replica) 参照(db4 排除済) / ロールバック担当待機 - [ ] green writer の構成一致(
describe-db-instancesで green writer を確認):DBInstanceClassが db1(db.t4g.2xlarge)と一致 /MultiAZ=true/max_connections(class 依存・約3,600)が現ピーク接続を上回る / storage(400GB)・IOPS(12000)・StorageType=gp3同等 - 1つでも NG なら枠を開かず延期
E-2. Switchover 実行
aws rds switchover-blue-green-deployment --region $R --blue-green-deployment-identifier $BG \
--switchover-timeout 300
--switchover-timeout(秒)は lag=0 待ちの最大時間。超過で自動ロールバック(両環境無変更)。切替で 名前スワップ(green が$SRC名を取得・旧 blue は-old1)。endpoint 名は据え置き=アプリ接続先変更不要(一瞬切断→自動再接続)。 ⚠️ シーケンス同期でダウンタイムが延びる(本番規模で実測): Switchover 時に green 側のシーケンス値を同期する処理が走り、AWS がイベントでSwitchover when using sequences may lead to extended downtimeを通知する。 本番クローン(232GB・214テーブル)実測: シーケンス同期に約21秒 → 書込ダウンタイム 約23秒(develop 小容量クローンでは即完了・約3秒だった=規模で大きく変わる)。fastdoctor-manager は serial PK 等でシーケンスが多いのが要因。 ⇒ 本番のメンテ枠・関係者周知・SLO 判断は「書込断 20〜30秒」を前提にする(「数秒」想定は誤り)。低トラフィック帯で実施。事前にSELECT count(*) FROM pg_sequences;でシーケンス規模を把握しておくとよい。
E-3. 完了確認
aws rds describe-blue-green-deployments --region $R --blue-green-deployment-identifier $BG \
--query "BlueGreenDeployments[0].Status" --output text # SWITCHOVER_COMPLETED
aws rds describe-events --region $R --source-type db-instance --source-identifier $SRC --duration 60 \
--query "Events[].[Date,Message]" --output table # "Renamed ... to ...-old1 ..." を確認E-3a. 旧 Blue(-old1)に接続が残っていないかの確認 ★Switchover 直後(T0+5 分以内)〔2026-11-02 追加・mental-online-karte#22381〕
2026-10-30 本番で起きたこと: 名前の入れ替え(
db1→db1-old1)の直後は DNS の反映が遅れ、つなぎ直した接続の一部が旧 Blue(読み取り専用になった PG12)に向いた。既存の接続は切れないので Rails は自動でつなぎ直さず、そのまま使い続けた。
- mobakar-sync-worker: 14:06〜14:11 に
PG::ReadOnlySqlTransactionが約 4,400 件(retry で queue に戻り、データの欠損はなし。1 件だけ Dead)- web / cable の puma: 旧 Blue への接続 8 本が 14:43 まで残った。その間の書き込み 13 件が失敗し、読み取りは古いデータを返しうる状態だった
既存の確認では気づけない: deep-health の
SELECT 1・/status/database・Datadog APM のpeer.hostname(新旧で同じ DNS 名)は、旧 Blue につながっていても成功・同じ表示になる。旧 Blue 側のpg_stat_activityを見るしか見分ける方法がない。
確認(読み取りのみ・踏み台経由。旧 Blue 4 台を 1 台ずつ)
- ⚠️ 台ごとに別のローカルポートを使う(例 15901〜15904)。ループで同じポートを使い回すと、前の port-forward が残っていて別の台に接続したまま結果を読む(2026-10-30 に 3 回発生)。接続したら必ず下の 1 行目で「どの台か」を表示して確かめる。
-- 接続先の確認(old1 なら ver=12.x)
SELECT inet_server_addr(), current_setting('server_version'), pg_is_in_recovery();
-- アプリの接続(client backend)が残っていないか。walsender(旧 replica への複製)は数えない
SELECT client_addr, usename, left(coalesce(application_name,''),30) AS app, state, count(*), min(backend_start)::timestamp(0) AS oldest
FROM pg_stat_activity
WHERE backend_type = 'client backend' AND pid <> pg_backend_pid() AND usename <> 'rdsadmin'
GROUP BY 1,2,3,4 ORDER BY 5 DESC;- OK: 自分の確認用セッション以外の client backend が 0。
- ⚠️ CloudWatch の
DatabaseConnectionsは walsender も数えるので、db1-old1は旧 replica(db3/db5/db6-old1)への複製の分(3)が残る。0 にならなくても異常ではない。判定は上の SQL で行う。
- ⚠️ CloudWatch の
- NG のときの接続元の見分け方(
client_addr):
client_addr | 接続元 | 直し方 |
|---|---|---|
54.157.107.210 | fdsys Rails(web・cable・各 worker) | 下の「つなぎ直し」 |
3.113.154.169 / 18.178.147.64 | online-ops(東京) | §E-4 の online-ops の force-new-deployment(online-ops チームと連携) |
3.226.179.70 | dr-worker-information(us-east-1) | dr-wi のタスクを入れ替える |
つなぎ直し(fdsys Rails)— サービスの種類で方法が違う
| サービス | デプロイ方式 | つなぎ直し方 |
|---|---|---|
worker-fastdoctor-manager-us-prd・mobakar-worker-fdm-us-prd(-2)・mobakar-sync-worker-fdm-us-prd(-2) | ECS ローリング | update-service --force-new-deployment |
fastdoctor-manager-us-prd(web)・cable-fdm-us-prd | CODE_DEPLOY(Blue/Green) | --force-new-deployment は受け付けられない。タスクを 1 台ずつ stop-task して、ECS に新しいタスクを起動させる(下) |
# web / cable: Switchover より前に起動したタスクだけを 1 台ずつ止める(新タスクは DNS を引き直して新 db1 につながる)
# ⚠️ CODE_DEPLOY のサービスでは `aws ecs wait services-stable` が失敗する(length() invalid type None)→ desired=running・pending=0 をポーリングで待つ
# ⚠️ AWS CLI は startedAt を手元のタイムゾーン(JST・+09:00)で返す。CUTOFF も JST で書く
export AWS_PROFILE=fdsys-admin; R=us-east-1; CL=fastdoctor-manager-us-prd
CUTOFF=2026-10-30T14:28:00 # 例: この時刻(JST)より前に起動したタスクが対象
wait_ok() { for k in $(seq 1 40); do
read D RU P <<<"$(aws ecs describe-services --region $R --cluster $CL --services $1 --query 'services[0].[desiredCount,runningCount,pendingCount]' --output text)"
[ "$D" = "$RU" ] && [ "$P" = 0 ] && { sleep 30; return 0; }; sleep 10; done; return 1; }
for S in fastdoctor-manager-us-prd cable-fdm-us-prd; do
wait_ok $S || { echo "STOP: $S not stable"; exit 1; }
TASKS=$(aws ecs list-tasks --region $R --cluster $CL --service-name $S --desired-status RUNNING --query "taskArns[]" --output text)
OLD=$(aws ecs describe-tasks --region $R --cluster $CL --tasks $TASKS --query "tasks[].[startedAt,taskArn]" --output text | awk -v c="$CUTOFF" '$1 < c {print $2}')
for T in $OLD; do
aws ecs stop-task --region $R --cluster $CL --task "$T" --reason "PG16 switchover: reconnect to new db1" >/dev/null
sleep 15; wait_ok $S || { echo "STOP: $S not stable after $T"; exit 1; }
done
done- zsh では変数が単語に分割されないので(
--tasks $TASKSが 1 引数になる)、bash で実行する。 - つなぎ直した後に、もう一度上の SQL で旧 Blue の client backend が 0 になったことを確かめる。
E-4. PG16 疎通・アプリ確認
局面ごとの確認対象(誰の再接続を見るか):
局面 確認対象 補足 §B db1 failover(瞬断) primary 直接接続組: Rails 7サービス + online-ops( service/main-worker) + dr-worker-informationTrocco/Retool は primary 未接続=§B では無関係 §E-2 Switchover(db1→PG16・replica も PG16 green に切替) 上記 primary 組 + replica 組: online-ops(replica pool)・Trocco・Retool replica も名前据え置きだが切替時に blip §C replica reroute(db4→db6) replica 組のみ: online-ops(replica)・Trocco・Retool §C で reroute・疎通確認 ※ db1 primary 直接接続 = Rails 7サービス + online-ops + dr-worker-information(Trocco/Retool は replica 読取で primary 非接続・#14832 で外部CDCも0)。 ★
dr-worker-information-service(production 967691968827)は当初棚卸しの漏れ(2026-08-03 全ECS走査で発見・#12730)。2リージョンに存在するが稼働は片方のみ(実機確認 2026-08-03):
- us-east-1(バージニア)= 稼働(1タスク・2026-07-10起動・IP 10.0.2.18)→ NAT
3.226.179.70経由で db1 PRIMARY に接続(db1 と同一リージョン=低レイテンシ)。★これが本体。- ap-northeast-1(東京)= 0タスク・休止(設定はあるが desired=0=現在非接続。コンソールで“起動していない”のはこちら。スケールアップ時は Tokyo NAT 経由で接続しうる)。 secret 名は
FDSYS_DATABASE_URL(replica 風)だが実体は db1 PRIMARY(pg_stat_activityの3.226.179.70常時3接続=この1タスクのプール/接続文字列…/fastdoctor_manager_production確認済)→ §B failover の影響を受ける。 【7/31 §B 実ログ確認】 14:10:04 にPrismaClientKnownRequestErrorP1001(db1 到達不可) を数件(SentryFilterが 500 で捕捉)→ failover 完了(14:10:38)後に Prisma 自動再接続で回復。クラッシュ・タスク再起動なし(online-ops はクラッシュ→ECS 再起動だったのと対照的に、graceful に degrade)。→ §E Switchover でも同様に数十秒の一時 P1001/500 を想定(自己回復・要 Sentry / CloudWatch Logs/dr-worker-information/ecs確認)。 走査で判明した DB consumer は Rails 7 + online-ops(2)+dr-worker-information(us-east-1 1) のみ(online-ops-cluster/online-ops-service・online-patient-mypageはFDSYS_API_KEYのみ=DB非接続)。pg_stat_activity 全 client IP が想定 NAT に収束・未知接続元ゼロを確認済み。🔑 db1 の接続許可は IP allowlist モデル(SG
sg-018407e4d8bf95620の 5432 inbound は source-SG 無し・/32 CIDR のみ/実機確認 2026-07-31)。各 consumer は NAT の公開 IP で db1 の公開エンドポイント(PubliclyAccessible=true)へ接続し、その NAT IP が allowlist される(SG ルールの Description で確認):
54.157.107.210(for fd-system nat)… fdsys Rails 7サービスの egress(単一 NATnat-0a8ec4984bb01be1b・両AZサブネット共通)52.207.24.86/3.226.179.70(for fd-platform virginia)… fd-platform 環境の us-east-1 NAT(正規・棚卸し不要)3.113.154.169/18.178.147.64(for fd-platform tokyo)… fd-platform Tokyo NAT(online-ops 等の egress)→ BG は SG を green に据え置くため switchover 後も同じ allowlist が有効=ECS/接続設定の変更は不要(Rails は両AZ同一NATのためタスク再配置でも接続断リスク無し)。※ Trocco/Retool は db1 primary の allowlist に無く、replica SG(
sg-03478eb403f69ef75)側(Retool*/30×3・Trocco/32×5)= replica 読取の裏付け。
$SRCが新 PG16 を指す。SSM→psql でSHOW server_version;=16.x を確認。- Rails アプリ(web/sidekiq/cable)と online-ops-service の再接続・主要機能(案件作成/OCR 等)を確認。
- [ ] ★Rails 本体の api-probe=
GET /status/database(okcomputer のdatabaseチェック単体・未認証・CAT 不要):curl -k https://<fd-system web ALB DNS>/status/database→ HTTP 200+database: PASSED Schema version: …=Rails→db1 の read 疎通をUI 操作なしで実証(databaseチェックはActiveRecord::Migrator.current_version=schema_migrationsの版読取)。- ★ルート:
/status=defaultのみ(浅い・DB 非依存)//status/all=全チェック(default+database+redis_cache+sidekiq)//status/database=DB 単体。ALB DNS は verify script が ECS の target group から動的解決する。 - ⚠️
curl -kは TLS 検証を無効化する(相手が正規 ALB か検証しない)=当日の疎通確認用。可能なら-kを外し正規ドメイン+Host ヘッダで検証有効に。また/status/databaseは未認証で internet-facing ALB(HTTPS 443) に公開されており、誰でもschema_migrationsの版+DB 疎通可否を取得できる(schema version の露出面)。「CAT 不要で楽」だが、この公開状態を追認せず、恒久的には認証 or 内部限定を検討すること。 - 併せて
/status/all(→--api-probe-all)で redis/sidekiq 含む総合健全性も確認可(DB 合否には非連動=情報表示)。⚠️ okcomputer の sidekiq チェックはdefaultキューの latency のみ。mobakar 系 job は専用キュー(mobakar/mobakar_post_diag/neokar_clinic_sync=mobakar_sidekiq.yml・mobakar_clinic_sync_sidekiq.yml)でdefaultではないため、mobakar-sync-worker のスタックは/status/allでは検知できない。→ worker 全体・全キュー・Processes 生存は下記「worker(Sidekiq ダッシュボード)」で確認すること。 - verify script 一括:
bash docs/sre/scripts/pg16-verify-fastdoctor-manager.sh --env production --label post --api-probe --api-probe-all(接続元→属性化・シーケンス継続性・writability も同時判定)。
- ★ルート:
- [ ] PG16 稼働・アプリ主要機能正常・DB接続エラーなし
- [ ] DB ロール/ユーザ/GRANT の引継ぎ確認: アプリ用・Retool・Trocco 等の主要 DB ユーザで green(新 primary/新 replica)へ実接続して認証・権限が通ること。logical replication はロール/GRANT を複製しないため(RDS BG では引き継がれる想定だが必ず実接続で確認)。
password_encryption=md5は blue/green 一致(認証方式は問題なし)。認証失敗は実質全断。- [ ] 🔴 SSL/
rds.force_sslの観点: 新 primary がrds.force_ssl=1の場合、非SSL接続の consumer はFATAL: no pg_hba.conf entry … no encryptionで全拒否→クラッシュループする(staging #18087 実証)。本番は blue=green とも force_ssl=1 想定だが、特定接続元だけ落ちる/クラッシュループする場合の一次切り分け:①ECSdescribe-tasksでexitCode=1のループ確認 → ②アプリログが Datadog のみで読めなくても 新 primary の RDS PostgreSQL ログ(download-db-log-file-portion)でno encryptionを確認 → ③該当なら当該 consumer を SSL 接続に是正(恒久)/緊急時は CPG のrds.force_ssl=0(dynamic=reboot不要)で受理。※no encryptionが出る=consumer 側が非SSL接続、が確定情報。
- [ ] 🔴 SSL/
- [ ] db3/db5 リーダー consumer の再接続: ★Rails アプリ(7サービス)は db1 のみ接続(全サービス
DATABASE_URL=db1・config/database.ymlは production 単一接続でレプリカ直読み無し=マルチDB未使用/実機確認 2026-07-31)。よって db3/db5 を読むのは外部 consumer(online-ops・Trocco・Retool・分析等)で、それらが switchover 後に再接続できることを確認(RDS replica は名前据え置きだが切替時に blip)。 - [ ] 書込断(約23秒)中のアプリ挙動: 書込がこの窓で graceful に失敗/リトライされ、ユーザー影響が許容範囲であること(低トラフィック帯実施が前提)。
- [ ] 接続エラーが残る場合は §B と同様 ECS ローリング再起動で強制再接続。
- [ ] 監視は §B の「監視サーフェス」注記と共通で判断する(当日ここを見る):
- Datadog APM: Rails
service:fast_doctor_manager(env:prd) / online-opsservice:online-ops-serviceの Error rate(→ロールバック基準の判定)→ Errors/Error Tracking で接続エラー型 → Tracesstatus:error - Datadog Logs: Rails
service:fd-system status:error(APM 名fast_doctor_managerとタグ名が異なる点に注意)/ online-ops 同名 - CloudWatch
fastdoctor-manager-pg16-bluegreen:DatabaseConnections回復+ECSRunningTaskCount/CPU/Pending - 切替直後は特に 書込断(約23秒)明けに
PG::AdminShutdown/ConnectionBad等が数分で消えるかを見る(残れば force-new-deployment)
- Datadog APM: Rails
E-4-b. アプリ側スモーク(能動確認・GO 判断の根拠)
なぜ能動確認が要るか: 受動監視(実トラフィック)だけでは 低頻度/バッチ/write/静かな誤結果/性能退行が窓中に surface しない(低トラフィック帯実施なら尚更)。ロールバック判断バッファ内で主要パスを1回ずつ能動的に叩いて、証拠ベースで GO を決める(不可逆点=PG16 確定の前に)。
web(fastdoctor-manager-us-prd = backend.fastdoctor.jp/admin・DNS→ALB→ECS 確認済)
- [ ] ログイン(=認証・ロール/GRANT が green で通る実証)→ 一覧が開く(read) → 1件詳細(read) → テスト対象を1件更新(write・後片付け)
- 主要フローは APM
fast_doctor_managerの Resources(Requests 降順) 上位で特定。実測エラーの実コンポーネント例:Admin::KartesController#update・Api::External::PharmacyDestinationsController#update・ExecuteOcrJob
worker(Sidekiq ダッシュボード = backend.fastdoctor.jp/admin/sidekiq)
- [ ] 「Busy/Processes」に 約10プロセス(メイン
worker-fastdoctor-manager-us-prd6タスク+mobakar 系4サービス各1)が並ぶ=全ワーカー生存。※web(8)/cable(6) は sidekiq でないのでこのタブには出ない - [ ] 切り替えから 3 分待つと、メインワーカーの **
CheckDelayOnlineDiagnosingJob(1 分ごと・queue low)**が自動で db1 を読む → Datadog のsum:trace.sidekiq.job.hits{env:prd,service:fast_doctor_manager,resource_name:checkdelayonlinediagnosingjob}.as_count()が増え、同じ条件のtrace.sidekiq.job.errorsが増えない(=worker→db1 OK・手動トリガー不要)。APM のトレースはサンプリングされるので、判定はこのメトリクスで行う〔2026-10-27 訂正〕- ⚠️
CheckDelayReceptionJobは判定に使わない。設定(config/sidekiq.yml)には残っているが、管理画面の Recurring Jobs(backend.fastdoctor.jp/admin/sidekiq/recurring-jobs)で無効になっており、365 日間の実行が 0 回(PG16 とは無関係・#18882 の 11.)。当日も「有効」ボタンは押さない
- ⚠️
確実に叩くなら OCR/画像を1回アップロード →〔2026-10-27 削除〕ExecuteOcrJob(default) が処理されることExecuteOcrJobを積むのは患者の画像アップロード(user_site/images)・外部 API・Imageの保存時だけで、管理画面に「OCR を試す」操作は無い。本番で保険証画像を上げるのは患者データを作ることになるので行わない。main worker は上のCheckDelayOnlineDiagnosingJobで判定する- [ ] mobakar 系は、モバカル連携の 2 ボタンを本番の cp_contract
808で押して確認する〔2026-10-27 追加・Slack で合意〕なぜ押すか: mobakar 系 4 サービス(
mobakar-worker/-2=mobakar_sidekiq.yml、mobakar-sync-worker/-2=mobakar_clinic_sync_sidekiq.yml)は、定時ジョブ(患者リスト同期 17:50・22:00、クリニック同期 5:30 など)か画面からの enqueue でしか動かない。メンテ枠(14:00〜15:00)には自然には動かないので、待っていると確認が翌朝までずれ込むどこで押すか:
https://backend.fastdoctor.jp/admin/cp_contracts/808/edit→「モバカル連携」タブ →「更新処理」808 を使う理由: モバカル連携の担当者から「この医療機関なら実行してよい」と了承を得た。患者が少なく、同期は 1 分ほどで終わる見込み。ほかの医療機関では押さない(了承が無い・患者が多いと同期が長引く)
ボタン 動くジョブ queue 動く worker 「クリニック患者一括同期」の「実行」 MobakarClinicPatientsSyncJobmobakar_clinic_sync_high_prioritymobakar-sync-worker(1 台目か 2 台目のどちらか) 「委託患者数同期(既存患者含)」の「実行」 MobakarPatientListSyncJobmobakar_patient_listmobakar-worker(1 台目か 2 台目のどちらか) 何が起きるか: どちらもモバカルの API から読んで、fdsys(db1)に書き込む。モバカル側には書き込まない。押す前の状態に戻す操作は無い
808 が毎日の定時同期の対象であることは確認済み(2026-10-27・db1 を読み取り専用で確認):
- 委託患者数同期: 808 は
mobakar_patient_sync_enabled = trueで、除外リスト(SystemConfigcp.mobakar.patient_list_sync.excluded_cp_contract_ids)に入っていない。定時ジョブ(MobakarKickPatientListSyncJob)が毎日 17:50 と 22:00 に、ボタンと同じis_only_new = falseで積み、直近 5 回はすべてstatus = 20(succeed)。ボタンは普段と同じ同期をもう 1 回走らせるだけ - クリニック患者一括同期: 定時ジョブ(
MobakarAllClinicsSyncJob)が毎日 5:30 に 808 の記録を作っているが、直近 5 日分(10/23〜10/27)はすべてstatusが NULL(まだ処理されていない)。原因はmobakar_clinic_syncqueue の大きな backlog(下の「⚠️ mobakar-sync-worker は常に埋まっている」)で、808 の定時の分は順番待ちの最後尾にいる。808 では、ここ数日実際には走っていない同期を走らせることになる(担当者の了承済み・患者が少ない)
- 委託患者数同期: 808 は
いつ押すか: §E-3 の完了確認と、上の main worker の確認が済んでから。2 つ続けて押してよい(queue も worker も別)
⚠️ mobakar-sync-worker は常に埋まっている(2026-10-27 15 時台に
/admin/sidekiq/queuesと/admin/sidekiq/busyで確認):mobakar_clinic_syncの Size は 4,193 件、Latency は 5,133,473 秒(約 59 日)。定時ジョブが毎日約 66 件積むのに対し、処理が追いついていない(PG16 と無関係の既存事象)- mobakar-sync-worker の 2 台(concurrency 1)は、どちらも
mobakar_clinic_syncのMobakarClinicPatientsSyncJob(引数=ジョブの記録の ID。当時 50330 / 50332)を処理中で、1 件に 1 時間前後かかっていた。808 の定時の記録(10/26 分は ID 54474)は約 4,100 件後ろ - ボタンのジョブは
mobakar_clinic_sync_high_priorityに入るが、2 台のどちらかが今の仕事を終えるまで取られない。メンテ枠の中で終わらないことがある - 一方 mobakar-worker の 2 台は空いていた(実行中 0)。「委託患者数同期」のジョブはすぐ処理される
MobakarClinicPatientsSyncJobのtrace.sidekiq.job.hitsは 7 日で 16 回と、この処理ペースより少ない(長いジョブが Datadog に記録されていない可能性・未確認)。このジョブの判定に hits は使わない
mobakar-sync-worker の判定方法(2026-10-27 決定・案 A): ボタンは予定どおり押す。判定は 「ボタンのジョブ」か「切り替え時に処理中だったジョブ」の、どちらか先に終わった方の記録で行う
- 切り替え直前(T0 の直前)に
/admin/sidekiq/busyで、mobakar-sync-worker 2 台が処理中のジョブの**引数(ジョブの記録の ID)**と開始時刻を控える。Busy タブにはプロセス名(ip-10-100-…)も出るので、どの台が処理しているかはここで分かる - 切り替え後、Busy タブでどちらかの台の引数が変わったら(=1 件終わった)、終わった記録を下の SQL で読む
- 合格: その記録の
updated_atが T0 より後で、statusが20(succeed)か、DB と関係ない理由の40(error。Sentry で確認)。updated_atの書き換え自体が、新しい db1 への書き込みの証拠になる
- ⚠️ 切り替え時に処理中だったジョブが接続エラーで
40になるのは想定内: このジョブは約 1 時間の処理の途中で T0(書き込みが約 23 秒止まる)をまたぐので、その瞬間に実行中のクエリがPG::ConnectionBadなどで落ちうる。Mobakar::ClinicPatientsSyncはrescue StandardErrorで捕まえて Sentry に送り、status = 40にして終わる。Sentry の例外の発生時刻が T0〜T0+1 分の接続エラーなら、切り替えによる想定内の失敗とする。その40を書いたupdated_atが T0 より後なら(=つなぎ直して新しい db1 に書けたなら)、つなぎ直しは合格。ロールバック判断に入れるのは、T0+5 分より後に起きた接続エラーだけ(下の ④ も同じ扱い)
- 1 時間を超えても 1 件も終わらないときは、メンテ枠を閉じた後も続けて確かめる。それまでは Processes に 2 台とも出ていること(生存)だけを見る。1 件の処理が長いだけなら NG にしない
- 担当: Switchover の実施者(SRE)。10/30 18:00 までに、Busy タブで引数が変わったのを見て SQL で判定し、#18882 に結果を書く。18:00 までに 1 件も終わらなければ、翌朝 9:00 にもう一度見る
- 切り替え直前(T0 の直前)に
押す前に
/admin/sidekiq/busyで mobakar-worker(2 台)が空いていることを見る。埋まっていれば、その仕事が終わるまで判定を待つ(ジョブの記録が NULL のままでも、待たされているだけなら NG にしない)⚠️ 押しても画面には結果が出ない〔2026-10-27 訂正〕: どちらのボタンも、ジョブを積んだらすぐページを再読み込みするだけ(
mobakar-sync.vueのsyncMobakarClinic()/syncMobakarPatientListWithExisting())。進捗も「成功しました」も表示されない。カスタムサマリーの「更新」とは違う⚠️ どちらのボタンも 1 回だけ押す: 「委託患者数同期」は実行中かどうかの確認に
cp_contract_idを渡していない(processing.jsonを引数なしで呼ぶ)ので、押すたびに新しいジョブが積まれる。「クリニック患者一括同期」は 808 で実行中なら積まないが、実行中と見なすのはstatusが 0 / 10 のときだけで、作った直後の記録はstatusが NULL なので、処理が始まる前に押し直すと重ねて積まれる⚠️ ジョブの中の失敗は Sidekiq のエラーにならない: 同期のサービス(
Mobakar::ClinicPatientsSync/Mobakar::PatientListSync)はStandardErrorまで捕まえて、ジョブの記録のstatusをerrorにして正常終了する(StandardErrorは Sentry にも送る)。trace.sidekiq.job.errorsが 0 でも、同期が成功したとは言えないOK の基準(3 つとも満たす):
- ジョブが動いた: 委託患者数同期は Datadog で
sum:trace.sidekiq.job.hits{env:prd,service:fast_doctor_manager,resource_name:mobakarpatientlistsyncjob}.as_count()が増える(押してから数分以内)。クリニック患者一括同期は hits を使わず、上の「mobakar-sync-worker の判定方法」で見る - 滞留していない:
/admin/sidekiq/queuesでmobakar_patient_listの Size が残らない(mobakar_clinic_syncは既存の backlog があるので見ない) - 同期が成功した(★ここだけは DB を読まないと分からない): 押した時刻以降に作られたジョブの記録(クリニック患者一括同期は、上の判定方法で選んだ記録)の
statusが20(succeed)で、updated_atが T0 より後。db1 を読み取り専用で読む(§E-4 と同じ SSM 経由の psql・default_transaction_read_only=on。実行前にコマンドを提示して許可を得る)。患者の情報は含まない列だけを読む:sqlSELECT 'clinic_sync' AS kind, id, status, created_at, updated_at FROM mobakar_clinic_sync_jobs WHERE cp_contract_id = 808 ORDER BY id DESC LIMIT 3; SELECT 'clinic_sync_inflight' AS kind, id, status, created_at, updated_at FROM mobakar_clinic_sync_jobs WHERE id IN (<切り替え直前に Busy タブで控えた引数>); SELECT 'patient_list_sync' AS kind, id, status, created_at, updated_at FROM mobakar_patient_list_sync_job_logs WHERE cp_contract_id = 808 ORDER BY id DESC LIMIT 3; -- status: NULL=まだ処理されていない(クリニック患者一括同期は作成時に status を入れない) / 0=not_start / 5=credential_wait_retry(委託患者数同期のみ) / 10=executing / 20=succeed / 40=error / 80=cancel_requested / 81=cancelled -- created_at は UTC(JST の 14:00 は 05:00)error_detail/execution_detail/alert_detail_jsonには患者の ID が入りうるので SELECT しない
- ジョブが動いた: 委託患者数同期は Datadog で
NG のとき:
statusが NULL か0(not_start)のまま・queue の Size が残る → その worker が動いていない。上の「強制再接続」で該当サービス(mobakar-sync-worker-fdm-us-prd(-2)/mobakar-worker-fdm-us-prd(-2))をforce-new-deploymentstatusが5(credential_wait_retry)→ モバカル側の回数制限。DB とは関係ない。委託患者数同期は 5 分後に自動で再実行されるので待つstatusが80(cancel_requested)/81(cancelled)→ 誰かが画面からキャンセルした。DB とは関係ない。キャンセルした人を確かめ、必要なら 1 回だけ押し直すstatusが40(error)→ Sentry(fd-system)で同時刻の例外を見る。モバカルの回数制限(クリニック患者一括同期は自動で再実行しない・5 分待って押し直す)や API の失敗なら DB とは関係ない。ActiveRecord::/PG::系の接続エラーで、発生時刻が T0+5 分より後ならロールバック判断に入れる(T0〜T0+1 分に、切り替えをまたいで処理中だったジョブで起きたものは想定内。上の「mobakar-sync-worker の判定方法」)- DB 接続エラー型の例外(下の ④ の一覧)が出た → ロールバック判断に入れる
合格は「mobakar-worker と mobakar-sync-worker のそれぞれで、1 台が db1 につながったこと」でよい〔2026-10-27 決定〕。1 台目と 2 台目は同じ queue を取り合い、ボタン 1 回でジョブは 1 件なので、つなぎ直すのはどちらか 1 台だけ。APM の
hostは空だが、処理中は/admin/sidekiq/busyのプロセス名(ip-10-100-…)でどちらの台かが分かる。もう 1 台は Processes の生存(上の「約10プロセス」)だけを見て、その後の業務のジョブ(17:50 の患者リスト同期など)で自然につなぎ直すのに任せる。2 台目を確かめるためにボタンを押し直さない「Enqueue Now」(Recurring Jobs)や、ほかの医療機関のボタンは押さない
- ⚠️ Dead/Retry の外部API/バリデーション系はベースライン(
LineWorks::ApiError 404・Slack TooManyRequests・ActiveRecord::RecordInvalid)=DB無関係。警戒するのは DB 接続エラー型の新規出現のみ。全ワーカーは同一 Redis のためこの1画面に集約
🔎 worker→db1 接続の確認方法(本番・#18882)
前提(本番の特性・実測 2026-09-11):
- アプリは Rails 7.2.3 / pg 1.5.9 / Sidekiq 6。Rails 7.1+ は接続断を次クエリ時に検知→自動再接続+1回リトライするため、reboot/failover を透過的に吸収し接続エラーを出さない(本番 db1 §B failover 2026-07-31・約50秒中も worker は 0 エラーで 5868 ジョブ処理・#12730)。=接続エラー0は正常。
- ⚠️ 本番は「ログだけ」では worker の DB 接続“成功”を確認できない:worker ログ
/aws/ecs/worker-fastdoctor-manager-us-prd-appは LOG_LEVEL=info = SQL が出ない(INFO: done+job クラスは出るがSELECT/INSERTは0)。RDS もlog_connections=off(既定)=成功接続をログに残さない(FATAL のみ)。→ ログは**「失敗していない」の負の担保**まで(staging §9-1b の「/ecs の実 SQL grep」は本番では使えない=staging は LOG_LEVEL=debug で SQL が出るための staging 固有手段)。本番での worker 確認(①〜④):
- 生存:
/admin/sidekiqor--sidekiq-redis(SCARD sidekiq:processes≈10)。- 滞留なし:
/admin/sidekiq/queuesor--sidekiq-redis(LLEN sidekiq:queue:*が増え続けない)。- DB を実際に使った“成功”の証跡(★本番の核心=Datadog APM。ログには出ない):本番 Datadog は同 org。
trace.sidekiq.job.hits{env:prd,service:fast_doctor_manager} by {resource_name}(各 job 実行)+operation_name:active_record.instantiation(=DB からレコード読取=接続の証跡・本番2hで 101k spans 実測)+trace.sidekiq.job.errors(=0)。idle な mobakar 系は、上の cp_contract808のモバカル連携 2 ボタンで能動発火させて見る(「Enqueue Now」は使わない・2026-10-27 改訂)。- 接続エラー0(★完全パターンで grep):worker ログ
/aws/ecs/worker-fastdoctor-manager-us-prd-app+ RDS ログ/aws/rds/instance/fastdoctor-manager-db1/postgresqlを、PG::ConnectionBadだけでなく Rails 7.2 の上位クラスまで:=接続に失敗すると上記のいずれかが出る(DB停止/到達不可=ActiveRecord::ConnectionNotEstablished / ActiveRecord::ConnectionFailed / ActiveRecord::DatabaseConnectionError ActiveRecord::StatementInvalid / ActiveRecord::ConnectionTimeoutError PG::ConnectionBad / PG::UnableToSend / "server closed the connection" / "no pg_hba" / "no encryption" / FATALConnectionNotEstablished、クエリ中切断=ConnectionFailed(StatementInvalid子)、プール枯渇=ConnectionTimeoutError)。0件が正常(Rails 7.2 は透過再接続するので、出たら本当の異常)。ただし T0〜T0+1 分に、T0 をまたいで実行中だったクエリ(長いジョブ・トランザクションの途中)が落ちるのは想定内(つなぎ直しの自動リトライが効かない)。判定は「T0+5 分より後にも出続けるか」で行う〔2026-10-27 追記〕。「接続そのもの」をログで直接見たい場合のみ(任意・検証時):RDS
log_connections=on(動的・reboot不要)→ RDS ログにconnection authorized + client_addrが接続ごとに出る → worker タスク private IP(ecs describe-tasks→ENI)と突合して「どの worker が db1 に接続したか」を直接確認。ログ量が増えるので検証後 off に戻す。または workerLOG_LEVEL=debug(本番でSQLを出す=ログ量大)。判定チェーン(三段):① Datadog APM に job hits+active_record スパンが出る → ②
trace.sidekiq.job.errors=0 かつ 完全パターンのログ grep=0 → ③(必要時)触ったテーブルが接続先server_version=16.xに実在。=「worker が 16.x db1 に接続して処理・成功」を実証(staging では ①がログの実SQLで代替できるが、本番は APM が主)。
worker が接続残留/スタックした場合の強制再接続(切替後・その場で実行可)
§B の再起動ループと同一(switchover 後も対象サービス共通)。worker/mobakar が db1 再接続できず backlog 増加・スタックする場合はローリング再起動(アプリ層は無停止)。 🛑 2026-11-02 訂正(#22381): web(
fastdoctor-manager-us-prd)と cable(cable-fdm-us-prd)は CODE_DEPLOY なので--force-new-deploymentが使えない(10/30 に実行して失敗)。この 2 つは §E-3a のstop-taskを 1 台ずつで入れ替える。下のループは ECS ローリングの worker 系だけを対象にする。
# AWS_PROFILE=fdsys(913831226605)/ region us-east-1
CL=fastdoctor-manager-us-prd
# web / cable は CODE_DEPLOY のため対象外(§E-3a)
for S in worker-fastdoctor-manager-us-prd \
mobakar-worker-fdm-us-prd mobakar-worker-fdm-us-prd-2 \
mobakar-sync-worker-fdm-us-prd mobakar-sync-worker-fdm-us-prd-2; do
aws ecs update-service --region us-east-1 --cluster $CL --service $S --force-new-deployment
done
# 特定サービスだけスタックしているなら $S を該当1件に絞って実行(例: mobakar-sync-worker-fdm-us-prd)
aws ecs wait services-stable --region us-east-1 --cluster $CL --services worker-fastdoctor-manager-us-prd※ online-ops(別acct 967691968827・東京) は §C-2 / 本節下部の専用ブロック(
online-ops-service-service/-main-worker)を使う。dr-worker-information は §E-4 の consumer 節参照。
worker のスクリプト化確認(2段構え:①稼働再開 ②backlog)
ダッシュボード目視に加え、下記でスクリプト/コマンドから判定できる(当日ログ・自動記録に有用)。① と ② で測れるものが違う点に注意。
① 稼働再開(=各 job が実行を再開したか): Datadog(auth壁なし・APM 由来)
- APM トレースメトリクス
trace.sidekiq.job.hitsが job クラス単位(タグresource_name) で来ている(mobakar/neokar 全 job が個別に見える。実証済 2026-08-31)。切替前後で hit が再び立てば worker→db1 再接続&処理再開の証拠。エラーはtrace.sidekiq.job.errors。- クエリ(Datadog Metrics / MCP
get_datadog_metric。serviceは APM 名fast_doctor_manager=ログのfd-systemと別名):平常の目安(直近実測):# mobakar 全 job の処理量(切替前後で比較) sum:trace.sidekiq.job.hits{env:prd,service:fast_doctor_manager,resource_name:mobakar*} by {resource_name}.rollup(sum, 3600) # エラー sum:trace.sidekiq.job.errors{env:prd,service:fast_doctor_manager,resource_name:mobakar*}.as_count()mobakarcredentialupdatejob≈ 84/h で定常、mobakardocumentpostjob/mobakardiagobjectivepostjob数十/h、mobakarpostdiagretryjob1/h、mobakarpatientlistsyncjobは 17:xx/22:xx にバースト。切替後にこれらが再び立つことを確認。- ⚠️ Datadog では backlog(滞留数)は測れない:APM は 実行された時しか計測せず、enqueue 済み未実行の Size/Latency は出ない(
sidekiq.queue.size/latencyを出す Sidekiq check integration は未導入)。→ backlog は下記 ②。② backlog(=
/admin/sidekiq/queuesの Size/Latency 値): 目視 or Redis 直
- 目視:
backend.fastdoctor.jp/admin/sidekiq/queues(operator ログイン)で全キューの Size(滞留数)・Latency(最古ジョブ待機秒) を確認。切替後に特定キューの Size が増え続ける/Latency 上昇=そのキューの worker スタック → 該当 ECS をforce-new-deployment。- スクリプト化するなら Redis 直が唯一の手段(
/queues画面は Redis を読んでいるだけ=同値)。verify スクリプトの--sidekiq-redisで自動化済(bastion 上で /dev/tcp 直・redis-cli 不要):bash# Processes 生存+全キュー backlog+schedule/retry/dead を一括表示(DB 合否には非連動・情報表示) bash docs/sre/scripts/pg16-verify-fastdoctor-manager.sh --env production --label post --sidekiq-redis- 手動で叩く場合の確定情報(本番
fastdoctor-manager-us-prd実測 2026-08-31・bastion→ElastiCache 6379 到達 OK=bastion 10.10.x ∈ Redis SG 許可 CIDR10.10.0.0/16。TLS/AUTH 無):
- ★namespace は
sidekiq:(redis-namespace 使用)。接頭辞無しのLLEN queue:defaultは存在しないキーで 0 を返し「滞留なし」と誤判定するので必ずsidekiq:を付ける。- ★キュー名は固定列挙せず
SMEMBERS sidekiq:queuesで動的取得。実キュー(9種):default/low/schedule/mobakar/mobakar_post_diag/mobakar_clinic_sync/mobakar_clinic_sync_high_priority/mobakar_patient_list/neokar_clinic_sync(mobakar 系は5種+neokar)。- ★Processes 生存は
SCARD sidekiq:processes(実測=10=上記「約10プロセス」とスクリプトで一致)。SCARD sidekiq:processes # → 10(worker プロセス数) SMEMBERS sidekiq:queues # → キュー名一覧(動的) LLEN sidekiq:queue:mobakar_clinic_sync # 各キューの Size。※実測でこのキューに定常 backlog≈2183 あり→pre/post 比較の基準に ZCARD sidekiq:schedule ; ZCARD sidekiq:retry ; ZCARD sidekiq:dead
- ⚠️
sidekiq:dead≈9999 はベースライン(外部API/バリデーション系の蓄積・上限≈10000・DB 無関係)。警戒は各queue:*Size の pre→post 増加継続のみ。- ※ Sidekiq JSON endpoint(
/admin/sidekiq/stats・/stats/queues)も同値だが operator セッション cookie 必須=スクリプト非推奨(CSRF/セッションで脆い)。
cable(cable-fdm-us-prd・専用 ALB cable-fdm-prd-app)
- [ ]
https://backend.fastdoctor.jp/admin/receptionsで「検索」を押し、一覧が出る〔2026-10-27 具体化・#18882 の 6.〕- ⚠️ 画面を開いただけでは WebSocket はつながらない。「検索」を押すと WebSocket がつながり、
OperatorChannel#request_examinationsが db1 を検索する(同時に web の/admin/receptions.jsonも呼ばれる)- 🛑 2026-11-02 訂正(#22381): 旧版は
request_consolidated_examinationsと書いていたが、10/30 本番で受付の検索で記録されたのはrequest_examinations
- 🛑 2026-11-02 訂正(#22381): 旧版は
- 接続時に
ApplicationCable::ConnectionがOperatorを db1 から探すので、つながった時点で cable→db1 の読み取りが通っている - OK の基準: Datadog APM(
service:fast_doctor_manager)にOperatorChannel#request_examinationsが ok で記録され、その下に db1(peer.hostname:fastdoctor-manager-db1.ceupzitfh2wh.us-east-1.rds.amazonaws.com)へのpg.exec.*の span がある - ⚠️ APM のトレースはサンプリングされる(
retainedby: diversity_sampling)。見つからなければ 1〜2 分おいてもう一度「検索」を押す。トレースが無いことだけで NG にしない。サンプリングされないメトリクスtrace.action_cable.action.hits(resource_nameで絞る)で、検索を押した時刻に件数が立つかを見るのが確実 - ⚠️
peer.hostnameは新旧で同じ DNS 名なので、この確認では「新 db1 につながっている」ことまでは分からない。旧 Blue に残っていないことは §E-3a で確かめる
- ⚠️ 画面を開いただけでは WebSocket はつながらない。「検索」を押すと WebSocket がつながり、
online-ops(別アカウント production 967691968827・東京 ap-northeast-1・cluster online-ops-service-cluster/online-ops チームと連携) online-ops は FDSYS_PRIMARY_DATABASE_URL=db1(primary) + FDSYS_DATABASE_URL=replica にクロスアカウント・クロスリージョン接続(3サービス: service 10タスク[HTTP]・main-worker 1・remote-signature-client)。
- [ ] ★APM で確認(fdsys 側で見られる主手段):
service:online-ops-service(env prd) の Error rate/Errors が平常ベースラインに戻る・接続エラー系が出ていない - [ ] deep health は online-ops チームに実行/確認を依頼:
GET /health/dependencies(X-FD-Health-Token必須)がchecks[]のprimary(db1)・replicaにSELECT 1を投げ ok/down を返す(NestJSDeepHealthController・api/src/health/deep-health.service.ts)。⚠️ fdsys 側の踏み台からは到達不可(内部 ALBinternal-online-ops-service-...の SG が online-ops 自身の SG のみ許可+踏み台ロールは token secret 非許可=二重のチーム分離/実機確認 2026-07-31・HTTP:000)→ online-ops チームが叩くか、その Datadog monitor(設計:unhealthy=単発 Critical/degraded=10分連続 Warning)で確認。事前に「monitor 稼働 or 当日叩く段取り・token 入手」を合意しておく - [ ] ★datadog-probe-prd の deep-health メトリクスで確認(fdsys 側でも Datadog で見られる代替手段・token/踏み台不要): production 監視 probe
datadog-probe-prd(東京・acct 967691968827・env:production)が online-ops の/health/dependenciesを token 付きで常時叩き、結果をnetwork.http.can_connectとして出している(probe SG は online-ops ALB に許可済み=online-ops チーム実行や踏み台 curl〔HTTP:000〕に頼らず fdsys 側からも確認可)。- どこで見るか: production の Datadog org(既定 org 側。※staging は別 org「FD - ステージング」で見えない・混同注意)→ Metrics Explorer(
https://ap1.datadoghq.com/metric/explorer)で:avg:network.http.can_connect{service:online-ops-service,env:production} by {check_kind,url} - OK 基準:
check_kind:healthの線が「1」で継続(url=internal-online-ops-service-1839021099)= online-ops app→db1 が正常。check_kind:degradedは「0」(⚠️ degraded は「1=縮退/0=正常」で health と意味が逆)。 - §E switchover / §B・§F-5 reboot 直後: health が 一時 0(断)→ 1(再接続) に戻れば app→db1 再接続成功。5分継続で 0 なら unhealthy monitor 発火=再接続失敗の兆候 → 本節の
force-new-deployment。 - Monitors(prod org・
https://ap1.datadoghq.com/monitors/manage)で online-ops の deep-health monitor が OK か併せて確認。 - 🛑 2026-11-02 訂正(#22381): dr-worker-information の deep-health は production でも稼働している(microservice-nestjs#1350 が 2026-10-04 にマージ・#18313 は 10/10 にクローズ。10/30 に Datadog prod org で
check_kind:health=1 を確認)。下の「整備後」の方式で確認する。- ⚠️ ただし deep-health は
SELECT 1なので、旧 Blue(-old1)につながっていても 1 になる。新 db1 につながったことの確定は、新 db1 のpg_stat_activityでclient_addr = 3.226.179.70の接続が切り替え後に張り直されていること(10/30 は 14:06:10)と、旧 Blue に同じ接続元が無いこと(§E-3a)で行う
- ⚠️ ただし deep-health は
- 旧記述(2026-09-04 時点): dr-worker-information の deep-health(
/health/dependencies・#18313)は production では未整備(worker-information/mainに deep-health 未昇格/prod dr-wi secret にHEALTH_DEEP_TOKEN無し/監視 probedatadog-probe-virginia〔us-east-1〕未適用)。- ★整備後(下記 前提1〜4 を満たした後)はこの方式に切替:
- 前提: ①
worker-information/staging → worker-information/main昇格(deep-health を prod dr-wi へ配備・us-east-1 稼働+東京 desired=0)/②HEALTH_DEEP_TOKENを prod dr-wi secret に投入(#18313 手順=put-secret-value+ S3dr-worker-information-production/codebuild/task_definition.json手編集 +start-pipeline-execution --region us-east-1)/③ #2740datadog-probe-virginia(us-east-1) 適用(S3 tfvars 投入+health_tokens={"dr-worker-information":"②と同一token"})/④datadog/services/dr-worker-information/productionmonitor 適用。 - 確認: probe=
datadog-probe-virginia(us-east-1)(online-ops のdatadog-probe-prd〔東京〕とは別 probe=dr-wi 本番は us-east-1 稼働のため)。production の Datadog orgで Metrics Explorer:OK=avg:network.http.can_connect{service:dr-worker-information,env:production} by {check_kind,url}check_kind:health=1(url=dr-wi の us-east-1 内部 ALB)= dr-wi app→fdsys(db1・FDSYS_DATABASE_URL) 正常。db1 の §E switchover / §F-5 reboot 直後に 0→1 で db1 再接続成功(5分継続 0 で発火)。→ staging §9-2 と同方式。
- 前提: ①
- ★整備後(下記 前提1〜4 を満たした後)はこの方式に切替:
- どこで見るか: production の Datadog org(既定 org 側。※staging は別 org「FD - ステージング」で見えない・混同注意)→ Metrics Explorer(
- [ ] ★FDsys の接続プールのエラー処理(#21179。v1.135.0 で本番に入った)が効いたことを確認する〔2026-10-22 追加・10/23 改訂: #21206 は自前の DB と mental-appointment の対策で、FDsys の切り替えでは関係しないので外した〕。この修正が保証するのは「アイドル接続のエラーでプロセスを落とさない」ところまでで、Switchover の最中に実行中だったクエリは失敗しうる(そのクエリの Promise がエラーになり、リクエストは 500 になりうる。自動 retry はしない)。次の 4 点を順に見る:
- 57P01 などのアイドル接続エラーのログが出ている(出ていれば、修正が無ければ落ちていた経路を通った証拠)
service:(online-ops-service OR online-ops-service-main-worker) "アイドル接続でエラー"[fdsysPrimary]/[fdsysReplica]の接頭辞でどのプールかが分かる。@message(またはerror.code)がterminating connection due to administrator command(57P01)など - ECS タスクが再起動していない:
online-ops-service-service/-main-workerのRunningTaskCountが Desired のまま落ちていない・aws ecs list-tasks --desired-status STOPPEDに Switchover 時刻の停止が無い(10/20 の reroute では 1 台がプロセス停止した) - 数秒後のリクエストが成功する: APM の
service:online-ops-serviceで、Switchover の数秒〜数十秒後から 5xx が平常に戻る。Switchover の瞬間の 5xx は実行中だったクエリの失敗として許容し、件数と時刻を記録する - 新しい接続が張られている: 上の deep health(
check_kind:healthが 0→1)と、db1 / db6 のDatabaseConnectionsが平常値まで戻る
- 2 が満たされない(タスクが落ちた)場合は、#21179 入りの版(v1.135.0 以降)が動いていない(
custom.dd.versionで確認)か、守られていない経路を疑う。FDsys 用の Prisma(PrismaFdsysService)は Rust のエンジンが接続を持つので落ちないことを staging で確認済み(#21179 のコメント)。自前の DB 用の Prisma は #21638 で対応予定だが、FDsys の切り替えでは切れない
- 57P01 などのアイドル接続エラーのログが出ている(出ていれば、修正が無ければ落ちていた経路を通った証拠)
- [ ] ⚠️ ALB ヘルスチェック
/healthzは liveness のみ(DB 未チェック) → 「ALB targets healthy」だけで DB OK と判断しない(DB は上記 deep health/APM で見る) - [ ] 再接続しない場合は
ap-northeast-1で online-ops 該当サービスをforce-new-deployment(online-ops チームと連携)。§C-2 の reroute 対象と同じ2サービス(online-ops-service-service/online-ops-service-main-worker)。※remote-signature-clientは FDSYS DB 未接続のため対象外
# online-ops 強制再接続(別acct production 967691968827・東京 ap-northeast-1/online-ops チームと連携)
AWS_PROFILE=production-admin # account 967691968827(fdsys ではない)
R=ap-northeast-1 # 東京(us-east-1 ではない)
CL=online-ops-service-cluster
for S in online-ops-service-service online-ops-service-main-worker; do
aws ecs update-service --region $R --cluster $CL --service $S --force-new-deployment
doneℹ️ collation/索引について(安心材料): PG12→16 のメジャー跨ぎでも、BG は logical replication で green の索引を PG16 上に新規構築するため、in-place
pg_upgradeと違い glibc/ICU collation 版ずれによる索引破損は発生せず、REINDEXは不要。
§F. 事後(枠内後半〜数日)
-- E-5. writable になったので拡張を PG16 既定版へ更新
ALTER EXTENSION pg_stat_statements UPDATE;
SELECT slot_name, slot_type FROM pg_replication_slots; -- BG 用 slot が解消されているか- F-1. 性能監視・再接続確認(実トラフィックで最低3日・CloudWatch/Datadog・pg_stat_statements を E-0 前ベースラインと比較)。Switchover 直後は特に、アプリが新 primary/replica へ再接続したか(DatabaseConnections の回復)と ReplicaLag の 0 収束を確認する。§D-2 で用意した CloudWatch ダッシュボード(DatabaseConnections/ReplicaLag/CPU/IOPS 等)を切替当日〜事後監視でそのまま使う。
export AWS_PROFILE=fdsys-admin ; R=us-east-1
ST=$(date -u -v-20M +%Y-%m-%dT%H:%M:%SZ 2>/dev/null || date -u -d '20 min ago' +%Y-%m-%dT%H:%M:%SZ) ; ET=$(date -u +%Y-%m-%dT%H:%M:%SZ)
latest () { aws cloudwatch get-metric-statistics --region $R --namespace AWS/RDS --metric-name "$2" \
--dimensions Name=DBInstanceIdentifier,Value="$1" --start-time $ST --end-time $ET --period 300 \
--statistics "$3" --query "sort_by(Datapoints,&Timestamp)[-1].$3" --output text 2>/dev/null; }
for id in fastdoctor-manager-db1 fastdoctor-manager-db3 fastdoctor-manager-db5 fastdoctor-manager-db6 ; do
printf "%-26s Conns=%s CPU=%s ReplicaLag=%s WriteIOPS=%s\n" "$id" \
"$(latest $id DatabaseConnections Maximum)" "$(latest $id CPUUtilization Average)" \
"$(latest $id ReplicaLag Maximum)" "$(latest $id WriteIOPS Average)"
done判定: DatabaseConnections が平常値へ回復(0 のまま=再接続失敗の兆候。IP 直指定/DNS TTL/コネクションプールを疑う)/新 replica の ReplicaLag が 0 付近へ収束(切替+統計反映直後は一時上昇し得る。本番クローンでは pre-ANALYZE の pg_statistic 反映で一時 ~130秒 → 無負荷で収束を観測)/CPU・IOPS に異常スパイクなし。
SQL でも可(踏み台): 新 primary で
SELECT application_name,state,replay_lag FROM pg_stat_replication;、各 replica でSELECT now()-pg_last_xact_replay_timestamp() AS lag;。遅いクエリの前後比較(
pg_stat_statements)のやり方〔2026-11-02 追加・10/30 本番の実績・#22381〕- 切り替え前の値は旧 Blue(
db1-old1/db6-old1)に残っている。E-0 前にベースラインを取っていなくても、旧 Blue を消す前なら比べられる(§F-3 の削除より前に必ず行う)。 - 列名が違う(PG12:
total_time/mean_time、PG16:total_exec_time/mean_exec_time)。queryidも版で変わるので、空白を詰めたクエリ本文の md5 で突き合わせる(md5(regexp_replace(query,'\s+',' ','g')))。10/30 は db1 で 1,265 種類、db6 で 106 種類が対応した。 - 結果は手元の CSV にだけ保存し、Issue にはクエリ本文を貼らない(Redash のクエリにはコメントに利用者のメールアドレスが入る)。
- ⚠️ DB の統計の平均だけで「遅くなった」と判定しない。10/30 は平均が 2〜65 倍になったクエリが 3 本あったが、どれも呼び出し側の APM(
resource_nameで絞った span の p50 / p95)では変化がなかった。理由は次の 2 つ。- online-ops(東京)のクエリは、DB の実行時間に東京↔us-east-1 の往復(約 150ms)が入る。
- 旧 Blue の統計は長い期間の累積で、検索条件によって重さが大きく変わるクエリは単純に比べられない。
- 候補を見つけたら、まず
min/max/stddev_exec_timeとshared_blks_read(キャッシュ不足か)を見て、次に呼び出し側の APM で前後を比べる。JIT は新旧ともjit=off。
- 切り替え前の値は旧 Blue(
F-2. online-ops 用 replica(db6) の PG16 確認: db6 は §C で事前作成し BG に取り込まれているため、Switchover 後は PG16 replica として稼働(online-ops は endpoint 据え置きで継続)。green replica の parameter group が E(
postgres16-fastdoctor-manager-replica-db6・180 秒) になっているか確認し、違えば付け替え(§C-a-8。2026-10-21 改訂: D → E)。C(postgres16-fastdoctor-manager-replica) を当てない(遅延上限 18 分で online-ops の鮮度要件を満たせない。2026-10-19 訂正・旧版は C を指示していた)。大阪(db4)には再作成しない(クロスリージョン replica を廃止=以後の BG 制約も解消・#12732)。※代替案(§C 末尾)を採った場合はここで新primaryから db6 を新規作成し online-ops を切替。F-3. 後始末: 数日安定後、BG レコード削除(
--delete-targetは付けない)→ ★旧 blue(-old1・PG12) 削除の「直前ゲート」を通してからインスタンス削除(final snapshot 推奨)。削除の前に済ませること〔2026-11-02 追加・#22381〕: 旧 Blue を消すと、切り替え前の
pg_stat_statementsと Performance Insights の履歴(インスタンスごとに記録)が取れなくなる。次を先に終える。- §F-1 の遅いクエリの前後比較(
db1-old1/db6-old1のpg_stat_statements) - §D-5-8 の Trocco / db5 の前後比較(
db5-old1の Performance Insights) - 必要なら旧 Blue の
pg_stat_statementsを CSV で手元に保全する(クエリ本文は Issue に貼らない)
bashR=us-east-1 ; OLD=$(aws rds describe-db-instances --region $R --query "DBInstances[?ends_with(DBInstanceIdentifier,'-old1')].DBInstanceIdentifier" --output text) # 実際の -old1 名を動的取得(複数台) # ── ★旧 blue 削除の直前ゲート(削除は数日後なので、切替直後の §E-3a / §E-4 の点確認とは別に「直前」に再確認)── # ① 誰も旧 blue に接続していないこと: CloudWatch DatabaseConnections(1 台ずつ。Value に複数の名前を渡せない) ST=$(date -u -v-7d +%Y-%m-%dT%H:%M:%SZ 2>/dev/null || date -u -d '7 days ago' +%Y-%m-%dT%H:%M:%SZ) ; ET=$(date -u +%Y-%m-%dT%H:%M:%SZ) for I in $OLD; do echo "== $I" aws cloudwatch get-metric-statistics --region $R --namespace AWS/RDS --metric-name DatabaseConnections \ --dimensions Name=DBInstanceIdentifier,Value=$I --start-time "$ST" --end-time "$ET" \ --period 86400 --statistics Maximum Average --query 'sort_by(Datapoints,&Timestamp)[].{day:Timestamp,max:Maximum,avg:Average}' --output table done # → replica の old1(db3/db5/db6-old1)は全日 max=0 が GO # ⚠️ db1-old1 は旧 replica(db3/db5/db6-old1)への複製(walsender)の分が数えられ、常に 3 前後になる(2026-10-30〜11-02 実測)。 # db1-old1 は CloudWatch では判定せず、§E-3a の SQL(backend_type='client backend')で client backend が 0 であることを直前に確認する # ② 保険スナップショット(E-0 の PG12 SN)が available で残っていること=削除後の最終フォールバック # ── ゲート GO 後に削除(deletion protection が有効だと delete が失敗するので先に無効化)── # 順番: 旧 replica(db3/db5/db6-old1)を先に消し、最後に db1-old1。 # ⚠️ read replica は --final-db-snapshot-identifier を指定できない(§C-4 と同じエラー)→ --skip-final-snapshot for I in fastdoctor-manager-db3-old1 fastdoctor-manager-db5-old1 fastdoctor-manager-db6-old1; do aws rds modify-db-instance --region $R --db-instance-identifier $I --no-deletion-protection --apply-immediately aws rds delete-db-instance --region $R --db-instance-identifier $I --skip-final-snapshot done I=fastdoctor-manager-db1-old1 aws rds modify-db-instance --region $R --db-instance-identifier $I --no-deletion-protection --apply-immediately aws rds delete-db-instance --region $R --db-instance-identifier $I --final-db-snapshot-identifier ${I}-final-$(date +%Y%m%d)- §F-1 の遅いクエリの前後比較(
F-4. TF 整合: PG を TF 管理へ寄せる場合は「us-east-1 PG の import + tokyo ダブり整理」を別タスク(#13044 系)。
- ℹ️ 2026-11-02 時点で、本番 fdsys の RDS インスタンスと PG16 の CPG は Terraform 管理外。Green で CLI から変えた設定(例: db1 の
MaxAllocatedStorage=1000)は、Terraform の apply で戻ることはない。Datadog の monitor は Terraform 管理(datadog/services/**)。
- ℹ️ 2026-11-02 時点で、本番 fdsys の RDS インスタンスと PG16 の CPG は Terraform 管理外。Green で CLI から変えた設定(例: db1 の
F-5. auditlog(pgaudit)導入 ★Switchover 完了・安定後に別メンテ枠で実施
📌 本番の実施予定(2026-11-02 追記): 10/30 の Switchover 枠ではアプリの確認に時間がかかり、reboot 断を伴う pgaudit は入れなかった。mental-online-karte#22448 で、次の全社メンテ(#18516・2027/03)に合わせて行う。それまで fdsys の DB には監査ログが無い(fdsys の RDS は共通テンプレートの外にあり、もともと pgaudit が入っていなかった)。
なぜ Switchover 後なのか(設計): pgaudit は
shared_preload_librariesに載せる必要がある静的パラメータで、有効化に reboot(=瞬断)が必須。これを BG 作成時の green CPG(B) に含めると、Blue(PG12・pgaudit 無し)と preload 構成が食い違い BG 作成がINVALID_CONFIGURATIONで失敗しうる(pg16 preflight 既知事象)。よって BG 中は pgaudit を入れず(§A の B はpg_stat_statementsのみ)、Switchover で PG16 が確定・安定した後に、新 primary へ別枠で導入する。staging → production の順で実施(staging リハーサルで reboot 断・pgaudit 出力を先に検証)。
⚠️ これは Switchover 枠とは別のメンテ枠(reboot 断を伴う)。db1 は Multi-AZ =
reboot --force-failoverで 60〜120秒の瞬断。§B の failover と同じ「接続断→再接続」プロファイルなので、§B / §E-4 の監視サーフェス・接続エラー型ウォッチリスト・force-new-deployment 手順をそのまま流用する(primary 直接接続組=Rails 7 + online-ops(2) + dr-worker-information が対象)。
手順(新 primary=$SRC・PG16 に対して):
export AWS_PROFILE=fdsys-admin ; R=us-east-1 ; SRC=fastdoctor-manager-db1
PG16_WRITER_CPG=postgres16-fastdoctor-manager # B(Switchover 後、新 primary に付いている PG16 writer 用 CPG)
# F-5-1. B CPG に pgaudit を追加(shared_preload_libraries に追記=pending-reboot/pgaudit.log は dynamic)
# ⚠️ shared_preload_libraries は既存値を保持して pgaudit を「追記」する(pg_stat_statements を消さない)。
# RDS は rdsutils を自動付与するため、user 指定は "pg_stat_statements,pgaudit" とする。
aws rds modify-db-parameter-group --region $R --db-parameter-group-name $PG16_WRITER_CPG --parameters '[
{"ParameterName":"shared_preload_libraries","ParameterValue":"pg_stat_statements,pgaudit","ApplyMethod":"pending-reboot"},
{"ParameterName":"pgaudit.log","ParameterValue":"all","ApplyMethod":"immediate"}
]'
# ※ 監査範囲 = all(read/write/ddl/role/misc/function を全て監査=全操作を記録)。
# ⚠️ SELECT を含む全文監査のため監査ログ量が大きい。CloudWatch Logs のコスト/保持期間
# (rds.log_retention_period)を確認し、肥大化するようなら "ddl,role,write,misc" 等への絞り込みを検討。
# F-5-2. 付替状態の確認(pending-reboot になる=reboot 待ち)
aws rds describe-db-instances --region $R --db-instance-identifier $SRC \
--query "DBInstances[0].DBParameterGroups[0].ParameterApplyStatus" --output text # pending-reboot
# F-5-3. ★別メンテ枠:監視 mute → 新 primary を reboot(Multi-AZ フェイルオーバーで反映)
# §B と同じ「瞬断 60〜120秒」。低トラフィック帯・関係者周知・監視 mute を先に。
aws rds reboot-db-instance --region $R --db-instance-identifier $SRC --force-failover
aws rds wait db-instance-available --region $R --db-instance-identifier $SRC
# F-5-4. 反映確認 → pgaudit 拡張を作成(★shared_preload に載って reboot 済でないと CREATE EXTENSION は失敗する)
# 踏み台→psql(§B-5 と同経路):
# SHOW shared_preload_libraries; -- rdsutils,pg_stat_statements,pgaudit を含む
# CREATE EXTENSION IF NOT EXISTS pgaudit;
# SELECT extname, extversion FROM pg_extension WHERE extname='pgaudit';
# SHOW pgaudit.log; -- all(設定値)- [ ] B CPG の
shared_preload_librariesに pgaudit を追記(pg_stat_statements 保持)・pgaudit.log設定 →ParameterApplyStatus=pending-reboot - [ ] ★Switchover 枠とは別枠で、監視 mute・低トラフィック帯・周知の上で新 primary を reboot --force-failover(瞬断 60〜120秒)
- [ ] reboot 後
SHOW shared_preload_libraries;に pgaudit を確認 →CREATE EXTENSION pgaudit;→pg_extensionに pgaudit・pgaudit.log反映 - [ ] 監査ログ(
pgaudit.log)が CloudWatch Logs(rds.log_retention_period/ pgaudit)に出力されることを確認 - [ ] reboot 断で primary 直接接続組(Rails 7/online-ops/dr-worker-information)が再接続(§B/§E-4 のウォッチリスト・残留時 force-new-deployment)
- [ ] staging(fastdoctor-manager-staging.md §8-A)で先行実施・reboot 断と pgaudit 出力を検証済み
ℹ️ replica への監査: pgaudit は各インスタンスで実行された文を記録する。read replica(db3/db5/db6) は read しか処理しないため、監査要件が「書込=primary」中心なら B(writer) だけで足りる。replica の read も監査対象にする場合のみ C(
postgres16-fastdoctor-manager-replica) にも同様に追記+各 replica reboot する(追加の瞬断が各 replica consumer に出る点に注意)。
ℹ️ 後から監査範囲を変える場合(例
all→ddl,role,write,miscに絞る)は reboot 不要。pgaudit.logは動的パラメータ(ApplyMethod=immediate)で、パラメータグループを modify するだけで即時反映される(新規セッションから有効・既存セッションは次接続時)。reboot が必要なのはshared_preload_librariesで pgaudit を load/unload する時=この F-5 初回導入の1回だけ。以降の範囲チューニングは無停止。bash# 後から範囲を絞る例(reboot 不要・即時反映) aws rds modify-db-parameter-group --region $R --db-parameter-group-name $PG16_WRITER_CPG \ --parameters '[{"ParameterName":"pgaudit.log","ParameterValue":"ddl,role,write,misc","ApplyMethod":"immediate"}]'
メンテ枠の時間設計(procedure-production.md 準拠)
| 作業 | いつ | 停止 |
|---|---|---|
| §A CPG 作成 | 枠外・日中 | 無停止 |
| §B db1 CPG付替+再起動 | 事前メンテ枠①(Switchover 枠と別) | 瞬断(Multi-AZ 再起動 60〜120秒) |
| §C db6 新規作成+逃がし+db4 排除 | 枠外・事前 | 無停止(online-ops を db6(us-east-1) へ切替・レイテンシ悪化のみ) |
| §D BG 作成(Green AVAILABLE まで・232GB で実測 約42分)/Green 検証/ANALYZE(実測 約91分)/§D-5 warm-up | 10/29(前日)(〔2026-10-21 訂正〕当日作成にしない。〔2026-10-23 改訂〕10/26〜29 から 10/29 に変更し、凍結を約 1 日に縮める。§D-5-4 の目安) | 無停止(Green のみオフライン) |
| §E-0 snapshot | 枠開始前に available 必須(例 T-60 開始・232GBで数分では終わらない前提) | 無停止 |
| §E-1 最終ゲート | 枠直前(T-15〜T0・無停止) | 無停止 |
| §E-2 Switchover | メンテ枠②(T0) | 書込断 約23秒(本番クローン実測・シーケンス同期21秒が主因)・低トラフィック帯で実施 |
| §E-4 疎通・F 事後 | 枠内後半〜数日 | 無停止 |
| §F-5 auditlog(pgaudit) 導入+reboot | Switchover 後・別メンテ枠(安定確認後) | 瞬断(Multi-AZ 再起動 60〜120秒) |
⚠️ 232GB の Green 同期を1時間枠に入れないのが死守の肝。§B と §E は別枠。
★1時間メンテ枠に収めるタイムスケジュール(T0 = Switchover)
考え方: 重い処理(BG 作成 42分・pre-ANALYZE 91分)と瞬断を伴う §B 再起動はすべて枠外・事前に済ませる。1時間枠には Switchover と事後確認・ロールバック判断だけを入れる。これで枠内の実停止は 書込断 約23秒のみ。
事前作業(枠外・無停止/別枠。前日〜当日枠前)
| タイミング | 作業 | 備考 |
|---|---|---|
| 前日まで(枠外・日中) | §A CPG A/B/C 作成 | 無停止 |
| 事前メンテ枠①(Switchover 枠と別日/別時間帯) | §B db1 に logical CPG 付替+reboot --force-failover | 瞬断 60〜120秒。Rails 周知 |
| 枠前(無停止) | §C db6 作成 → online-ops(ECS)/Trocco を db6 へ切替(C-2)→ db4(大阪)排除 | online-ops チーム連携 |
| 10/29 朝(〔2026-10-21 訂正〕旧「T-3h〜T-2h」。〔2026-10-23〕旧「10/26〜10/29」) | §D BG 作成(→ 約42〜48分で AVAILABLE)→ green の class 変更・C 付替+reboot(約50分。最後の再起動)→ §D-5 の判定(StorageOperationStatus)と必要なら read | 無停止(Green のみオフライン)。当日作成では §D-5 の warm-up 時間が取れない |
| 10/29 昼〜午後 | §D-3 Green 検証 → pre-ANALYZE(約91分・接続維持) → §D-5 read → 検証(§D-5-4)→ 18:00 までに一次判断 | 無停止。枠に食い込ませない |
| T-90〜T-15 | §D-5 buffer → 代表クエリ → T-15 で §D-5-7 GO / NO-GO | 無停止 |
| T-60〜T-30 | §E-0 事前 snapshot 取得 → available を確認(GO 条件) | 無停止 |
| T-15〜T-5 | 関係者周知・監視 mute・DNS TTL≤5s 確認・DDL/migration 凍結の最終確認 | 無停止 |
1時間メンテ枠(T0 起点)
| 時刻 | 作業 | 停止 |
|---|---|---|
| T-5〜T0 | §E-1 最終ゲート GO/NO-GO(BG AVAILABLE / StatusDetails=null / SwitchoverDetails 全 AVAILABLE / Green subscription caught_up=t=lag0 / 長時間tx 0 / snapshot available) | 無停止 |
| T0 | §E-2 switchover-blue-green-deployment --switchover-timeout 300 実行 | 書込断 約23秒(シーケンス同期) |
| T0+2〜T0+10 | §E-3 完了確認(SWITCHOVER_COMPLETED・rename)/§E-4 PG16 疎通(SHOW server_version=16.x・writable)/アプリ・online-ops 再接続確認・必要なら ECS rolling restart | 無停止 |
| T0+10〜T0+40 | §E-4-b のアプリ確認(cp_contract 808 のモバカル連携 2 ボタンで mobakar 系を確認。委託患者数同期は約 1 分。クリニック患者一括同期は mobakar-sync-worker が埋まっているので 1 時間を超えることがあり、超えたら枠の後も続けて確認)・主要機能・エラー率・レイテンシ監視(Datadog APM / CloudWatch)・DatabaseConnections 回復・新 replica の ReplicaLag 0 収束 | 無停止 |
| T0+40〜T0+55 | ロールバック判断バッファ(判断基準は下記「ロールバック」)。問題なければ安定判定 | 無停止 |
| 〜T0+60 | 監視 mute 解除・関係者へ完了周知・枠クローズ | 無停止 |
✅ 枠内の実停止は Switchover の書込断 約23秒のみ。BG 作成(42分)・ANALYZE(91分)・§B 再起動が枠外なので、1時間枠は「Switchover+確認+ロールバック判断」に集中できる。 ⚠️ snapshot が T0 までに available でない/lag が 0 に落ちない/最終ゲート NG の場合は枠を開かず延期(枠内で待たない)。
ロールバック
| タイミング | 対応 |
|---|---|
| Switchover 前(Green 検証中) | BG 削除で Blue 無影響(delete-blue-green-deployment --delete-target ... で Green も破棄=中止) |
| Switchover 中(timeout 超過) | AWS 自動ロールバック(両環境無変更) |
| Switchover 後 | PG16→12 のその場戻しは不可。原則は PG16 上で fix-forward(データ欠損なし)。緊急退避=旧 blue(-old1/PG12) 切替は下記リスクを伴う。最終保険=E-0 の PG12 スナップショット復元。 |
⚠️ 旧 blue(
-old1) 切替の重大注意: Switchover 後に 新 PG16 へ書込が入った時点で、旧 blue(-old1) は古いデータになる。単純な切戻しは その書込が巻き戻る=データ損失・整合性破壊のリスクがある。旧 blue 切替は 「データ損失を許容する緊急判断」または「書込停止直後で差分影響を評価済み」の場合のみ。原則は PG16 上で fix-forward、それが困難なら E-0 の PG12 スナップショット復元(同じくスナップショット時点以降は巻き戻る)を検討する。
判断基準(正本 #12725 §13・継続時間で判断): 主要APIエラー率>1% が5分継続 / RT 3倍が10分継続 / DB接続エラー5分 / 主要機能不能3分 / 書込失敗3分。
完了条件
- [ ]
fastdoctor-manager-db1が PG16(16.x)で稼働・Rails/online-ops の主要機能正常 - [ ] 拡張が PG16 既定版・BG slot 解消
- [ ] 実トラフィックで最低3日安定(性能退行なし)
- [ ] online-ops 用 us-east-1 replica(db6) が PG16 で稼働(大阪 db4 は廃止)
- [ ] 旧 blue(
-old1・PG12)を安定確認後に削除(★F-3 の削除前ゲート=CloudWatch DatabaseConnections 数日連続0〔db1-old1 は walsender 分を除き、client backend 0 を SQL で確認〕+pg_stat_activity 残留0+保険SN available を通してから。§F-1 / §D-5-8 の前後比較を先に済ませる) - [ ] auditlog(pgaudit)を Switchover 後の別枠で導入済み(F-5)= shared_preload_libraries に pgaudit・拡張作成・監査ログ出力を確認(staging 先行)。本番は mental-online-karte#22448(2027/03 の全社メンテ)で実施
注意点(事故防止・RDS 固有)
- 必ず us-east-1 / fdsys 913831226605(tokyo/osaka の同名 PG は別物・触らない)。
- RDS=instance 単位・DB parameter group(Aurora の cluster/cluster-PG ではない)。BG source は db1 の instance ARN。
- クロスリージョン replica(db4) は BG 前に必ず排除(AWS 非対応)。online-ops/Trocco の逃がしを先に。
- logical 有効化(§B) と Switchover(§E) は別メンテ枠(どちらも瞬断/断あり)。
- BG 中は pgaudit を入れない(green CPG(B) は
pg_stat_statementsのみ=Blue と preload を揃え BG 作成のINVALID_CONFIGURATIONを回避)。auditlog(pgaudit) は Switchover 後に別枠で導入(§F-5・reboot 断あり)。/password_encryption=md5維持(rds.accepted_password_auth_methodは既定 md5+scram を維持=md5 ユーザー接続可)。 - green の read replica の PG 挙動・endpoint 引継ぎは staging で要検証(RDS BG の replica 仕様)。
- Switchover 直後は旧 Blue(
-old1)への接続残りを必ず確認する(§E-3a)。名前の入れ替え直後の DNS の遅れで、つなぎ直した接続が読み取り専用の旧 Blue に向き、Rails はそのまま使い続ける(2026-10-30 本番で発生・#22381)。deep-health のSELECT 1・/status/database・APM のpeer.hostnameでは見分けられない。 - 複数の台に psql でつなぐときは台ごとに別のローカルポートを使い、
inet_server_addr()と版で接続先を表示する。同じポートを使い回すと、前の port-forward が残って別の台の結果を読む。 - AWS CLI は時刻(ECS の
startedAt、Performance Insights のTimestampなど)を手元のタイムゾーン(JST)で返す。UTC だと思って 9 時間ずらさない。 - Datadog APM のトレースはサンプリングされる。「動いたか・何件か」はトレースではなく、サンプリングされないメトリクス(
trace.sidekiq.job.hits/trace.action_cable.action.hitsなど)で判定する。