Skip to content

fastdoctor-manager PG16 Blue/Green 本番クローン・リハーサル手順書(RDS PostgreSQL・CLI) ​

本番 fastdoctor-manager(RDS PostgreSQL 12.22 / fdsys 913831226605 / us-east-1)の 本物 DB を一切触らずに、スナップショット復元で作った隔離クローンへ 本番手順書 fastdoctor-manager.md の §A〜§F を通しで適用し、Blue/Green → Switchover が本番データ規模(232GB)で完走できるかを検証するための手順。

位置づけ: これは本番実施の予行演習(リハーサル)である。本番実施そのものの手順は fastdoctor-manager.md が正本。本手順は「本番アカウントに本番相当のクローンを立て、正本手順を安全に流す」ためのラッパー。 先行して develop アカウントの小容量クローンで §A〜§F を完走済み(#15121)。本手順はそれを本番アカウント・本番データ規模で再現する。 関連: 本番手順 fastdoctor-manager.md / preflight #14832 / CPG設計 #14856 / db4 #12732 / BGリハーサル #15121


⚠️ 大原則(本物 production を絶対に触らない) ​

  • クローンは 本物 fastdoctor-manager-db1 のスナップショットから復元する(スナップショット取得は読取のみ・本物 db1 は無影響)。
  • 以降の破壊的操作(PG付替・reboot --force-failover・db4 削除・BG 作成・Switchover)は すべてクローン側(fdm-rehearsal-*) に対して行う。本物 fastdoctor-manager-db1/db3/db5/db4 には一切コマンドを打たない。
  • クローンは 専用の別名 fdm-rehearsal-* と 専用 CPG(postgres12-fdm-rehearsal* / postgres16-fdm-rehearsal*) を使う。
  • 本物の共有PG postgres12-fastdoctor-manager は copy(read)でのみ参照し、modify は絶対にしない(共有PGを変更すると本物 db3 まで pending-reboot になる)。
  • §C の「db4 削除」は クローンの大阪 replica fdm-rehearsal-db4 に対してのみ。本物 fastdoctor-manager-db4 は削除しない。
  • 検証完了後は §F でクローン一式を全削除する(コスト停止)。

共通の環境変数 ​

bash
export AWS_PROFILE=fdsys-admin ; R=us-east-1 ; RX=ap-northeast-3   # RX=大阪
aws sts get-caller-identity --query Account --output text          # → 913831226605 を必ず確認
TGT_VER=16.14                                                      # ValidUpgradeTarget(16.9〜16.14)から選定

全体の流れ ​

Step 0. 本物 production 構成の収集(read-only)
Step 1. クローン primary 作成(snapshot→restore・本番同等サイズ・Multi-AZ・custom PG)
Step 2. 同一リージョン replica ×2(db3/db5 相当)
Step 3. クロスリージョン replica ×1(大阪・db4 相当)
Step 4. 本番手順書 fastdoctor-manager.md §A〜§F をクローンへ適用(読み替え表で)
Step 5. §F 後始末(クローン一式を全削除)

Step 0. 本物 production 構成の収集(read-only) ​

クローンを本番忠実に作るための値を集める。すべて describe(読取)で本物は無変更。

bash
# db1(primary)の実構成
aws rds describe-db-instances --region $R --db-instance-identifier fastdoctor-manager-db1 \
  --query "DBInstances[0].{Class:DBInstanceClass,Engine:EngineVersion,MultiAZ:MultiAZ,Storage:StorageType,\
Allocated:AllocatedStorage,Iops:Iops,Throughput:StorageThroughput,Backup:BackupRetentionPeriod,\
PG:DBParameterGroups[0].DBParameterGroupName,SubnetGroup:DBSubnetGroup.DBSubnetGroupName,\
SG:VpcSecurityGroups[*].VpcSecurityGroupId,KMS:KmsKeyId}" --output table

# db3 / db5(同一リージョン replica)のクラス・PG
aws rds describe-db-instances --region $R \
  --query "DBInstances[?DBInstanceIdentifier=='fastdoctor-manager-db3'||DBInstanceIdentifier=='fastdoctor-manager-db5'].{Id:DBInstanceIdentifier,Class:DBInstanceClass,PG:DBParameterGroups[0].DBParameterGroupName}" --output table

# db4(大阪 cross-region replica)の構成 + 大阪の subnet/SG/KMS
aws rds describe-db-instances --region $RX --db-instance-identifier fastdoctor-manager-db4 \
  --query "DBInstances[0].{Class:DBInstanceClass,PG:DBParameterGroups[0].DBParameterGroupName,\
SubnetGroup:DBSubnetGroup.DBSubnetGroupName,SG:VpcSecurityGroups[*].VpcSecurityGroupId,KMS:KmsKeyId}" --output table

# アップグレード先バージョン
aws rds describe-db-engine-versions --region $R --engine postgres --engine-version 12.22 --include-all \
  --query "DBEngineVersions[0].ValidUpgradeTarget[?starts_with(EngineVersion,'16.')].EngineVersion"

# 共有PG の user param(CPG A のコピー内容確認用。★modify はしない)
aws rds describe-db-parameters --region $R --db-parameter-group-name postgres12-fastdoctor-manager --source user \
  --query "Parameters[].{Name:ParameterName,Value:ParameterValue}" --output table

収集済みの実値(★2026-10-09 再取得。2026-07 時点から変わっている箇所あり) ​

db1(primary)

項目値備考
Classdb.t4g.2xlarge
Engine12.22アップグレード先は 16.9〜16.15 が選択可能(16.15 が追加された)
MultiAZtrue
Storagegp3 / 400GiB / IOPS 12000 / Throughput 500
Backup7
parameter grouppostgres12-fastdoctor-manager-bg🛑 2026-07 時点の postgres12-fastdoctor-manager から変更されている
SubnetGroup / VPCdefault-vpc-fe806583 / vpc-fe806583
SGsg-018407e4d8bf95620
KMSarn:aws:kms:us-east-1:913831226605:key/5acd024b-7d77-4ba0-9526-615d8618516e
PubliclyAccessibletrueクローンは --no-publicly-accessible で作る
MaintenanceWindowmon:22:05-mon:22:35

🛑 CPG の copy 元を間違えない。 postgres12-fastdoctor-manager-bg には BG の前提である rds.logical_replication=1 と wal_sender_timeout=0 が入っている。 旧 postgres12-fastdoctor-manager を copy するとこれらが無く、Blue/Green デプロイメントの作成自体が失敗する(クローン作り直しになる)。

postgres12-fastdoctor-manager-bg の user パラメータ(2026-10-09 実測):

text
rds.logical_replication = 1       ← BG の前提条件
wal_sender_timeout      = 0       ← BG 中の切断防止
rds.force_ssl           = 1
autovacuum = 1 / checkpoint_timeout = 300 / max_wal_size = 2048
synchronous_commit = on / wal_buffers = -1
maintenance_work_mem = GREATEST({DBInstanceClassMemory*1024/63963136},65536)

replica(★db3 と db5 は非対称。クローンも非対称に作ること)

ClassAllocatedStorageIOPSparameter group
db3db.t4g.large321 GiB3,000postgres12-fastdoctor-manager
db5db.t4g.2xlarge400 GiB12,000postgres12-fastdoctor-manager-replica
db4(大阪)db.t4g.2xlarge——fd-system-replica

★この非対称性こそが検証対象(#20479 の V1)。「green replica の storage が green primary(400GiB) に自動一致するか」は、 321GiB の db3 相当が green でどうなるかで初めて検証できる。db5 と同じにして簡略化してはいけない。

db4(大阪・cross-region replica)

項目値
Classdb.t4g.2xlarge
parameter groupfd-system-replica
SubnetGrouppublic-default
SGsg-0ea8d35ab381b64fe
KMSarn:aws:kms:ap-northeast-3:913831226605:key/4df4cd1d-2d9a-4822-821b-a234190c15b4

🛑 db.m8g は PostgreSQL 12.22 では選べない(2026-10-09 実測) ​

text
PG 12.22 / us-east-1 で作成可能な世代:
  db.m5  db.m6g  db.m6i  db.m6in  db.r5  db.r5b  db.r6g  db.r6i  db.r6in  db.t3  db.t4g  db.x2g
  ★ m8g は含まれない

PG 16.15 / us-east-1:
  db.m8g.2xlarge / db.m8g.xlarge   gp3 / MaxIops 64,000 / MultiAZ=True   ✅

⇒ Blue(PG 12.22)側で m8g に上げることは物理的に不可能。 ⇒ fastdoctor-manager.md §C-a が class 変更を Green 側で行うのは「本番 reboot を避けるため」だけでなく 「Green でしかできない」 ため。 ⇒ クローンは必ず本番同等の t4g で作り、Green 側で m8g に上げること。最初から m8g で作ると検証にならない(そもそも PG12 では作れない)。

  • [ ] db1/db3/db5/db4 の構成・大阪の subnet/SG/KMS・共有PG param・TGT_VER を収集済み

Step 1. クローン primary を作成(本番同等・Multi-AZ・custom PG) ​

bash
# 1-0. ★リハ専用 SG を新規作成(本物 sg-018407e4d8bf95620 を流用しない)
#   理由: 本物 SG を使うとクローンが本番と同じ許可を持ち、意図しない接続を受け得る。
#         踏み台(production アカウント NAT 3.113.154.169)からの 5432 だけを開ける。
REH_SG=$(aws ec2 create-security-group --region $R \
  --group-name fdm-rehearsal-db-sg \
  --description "rehearsal clone DB SG (bastion only)" \
  --vpc-id vpc-fe806583 \
  --tag-specifications 'ResourceType=security-group,Tags=[{Key=Name,Value=fdm-rehearsal-db-sg},{Key=ManagedBy,Value=manual},{Key=Issue,Value=20479}]' \
  --query 'GroupId' --output text)
aws ec2 authorize-security-group-ingress --region $R --group-id "$REH_SG" \
  --ip-permissions 'IpProtocol=tcp,FromPort=5432,ToPort=5432,IpRanges=[{CidrIp=3.113.154.169/32,Description="fd-platform tokyo NAT 1a - bastion"},{CidrIp=18.178.147.64/32,Description="fd-platform tokyo NAT 1c - bastion"}]'
echo "REH_SG=$REH_SG"

# 1-1. クローン元スナップショット
#   ★本物 db1 の「自動スナップショット」をそのまま使える(新規取得不要=db1 に負荷をかけない)。
#     最新の available なものを選ぶ。手動取得したい場合のみ下の create-db-snapshot を使う。
SNAP_SRC=$(aws rds describe-db-snapshots --region $R \
  --db-instance-identifier fastdoctor-manager-db1 --snapshot-type automated \
  --query 'reverse(sort_by(DBSnapshots[?Status==`available`],&SnapshotCreateTime))[0].DBSnapshotIdentifier' --output text)
echo "SNAP_SRC=$SNAP_SRC"   # 例: rds:fastdoctor-manager-db1-2026-10-08-21-17

#   (手動取得する場合のみ。232GB のため時間がかかる)
#   SNAP_SRC=fdm-rehearsal-src-$(date -u +%Y%m%d%H%M)
#   aws rds create-db-snapshot --region $R \
#     --db-snapshot-identifier $SNAP_SRC --db-instance-identifier fastdoctor-manager-db1
#   aws rds wait db-snapshot-available --region $R --db-snapshot-identifier $SNAP_SRC

# 1-2. クローン用 custom PG
#   🛑 copy 元は **postgres12-fastdoctor-manager-bg**(db1 が現在使っている方)。
#      旧 postgres12-fastdoctor-manager を copy すると rds.logical_replication=1 /
#      wal_sender_timeout=0 が無く、**BG 作成が失敗する**。
#   ★本物共有PGは copy(read) のみ。modify は絶対にしない。
aws rds copy-db-parameter-group --region $R \
  --source-db-parameter-group-identifier postgres12-fastdoctor-manager-bg \
  --target-db-parameter-group-identifier postgres12-fdm-rehearsal \
  --target-db-parameter-group-description "rehearsal clone base PG (copied from -bg; do not touch prod shared PG)"

# 1-2b. copy 結果に BG 前提パラメータが入っていることを確認(★入っていなければ先へ進まない)
aws rds describe-db-parameters --region $R --db-parameter-group-name postgres12-fdm-rehearsal --source user \
  --query "Parameters[?ParameterName=='rds.logical_replication'||ParameterName=='wal_sender_timeout'].[ParameterName,ParameterValue]" --output text
# 期待: rds.logical_replication 1 / wal_sender_timeout 0

# 1-3. スナップショットから primary クローンを復元(本番同等サイズ)
aws rds restore-db-instance-from-db-snapshot --region $R \
  --db-instance-identifier fdm-rehearsal-db1 \
  --db-snapshot-identifier $SNAP_SRC \
  --db-instance-class db.t4g.2xlarge \
  --multi-az \
  --storage-type gp3 --iops 12000 --storage-throughput 500 \
  --db-subnet-group-name default-vpc-fe806583 \
  --db-parameter-group-name postgres12-fdm-rehearsal \
  --vpc-security-group-ids "$REH_SG" \
  --no-publicly-accessible
aws rds wait db-instance-available --region $R --db-instance-identifier fdm-rehearsal-db1

# 1-4. backup 有効化(cross-region replica の前提。restore 直後は 0 のことがある)
aws rds modify-db-instance --region $R --db-instance-identifier fdm-rehearsal-db1 \
  --backup-retention-period 7 --apply-immediately
aws rds wait db-instance-available --region $R --db-instance-identifier fdm-rehearsal-db1

# 1-5. 復元結果の確認(Multi-AZ / custom PG / storage が期待どおりか)
aws rds describe-db-instances --region $R --db-instance-identifier fdm-rehearsal-db1 \
  --query "DBInstances[0].{Status:DBInstanceStatus,MultiAZ:MultiAZ,PG:DBParameterGroups[0].DBParameterGroupName,\
PGStatus:DBParameterGroups[0].ParameterApplyStatus,Storage:StorageType,Allocated:AllocatedStorage,Backup:BackupRetentionPeriod}" --output table
  • [ ] fdm-rehearsal-db1 available・Multi-AZ・PG=postgres12-fdm-rehearsal(in-sync)・gp3 400GB・Backup=7
  • [ ] ★postgres12-fdm-rehearsal に rds.logical_replication=1 / wal_sender_timeout=0 が入っている(1-2b)
  • [ ] ★SG は fdm-rehearsal-db-sg(本物 sg-018407e4d8bf95620 ではない)
  • [ ] ★Class は db.t4g.2xlarge(本番同等。m8g は PG12 では選べない・Green で上げる)

Step 2. 同一リージョン replica ×2(db3 / db5 相当) ​

bash
# ★postgres は replica 作成時に --db-parameter-group-name を指定不可 → 作成のみ(source PG を継承)。
#   1台ずつ作成する(同時だと source が一時 modifying になり2台目が弾かれる)。
#
# 🛑 db3 と db5 は本番で **非対称**(2026-10-09 実測)。クローンも非対称に作ること。
#    db3: db.t4g.large  / 321 GiB / 3,000 IOPS
#    db5: db.t4g.2xlarge / 400 GiB / 12,000 IOPS
#    → class の非対称性は本手順書でも再現する(storage の非対称性は再現不可)。
#      storage 自動一致の検証は green-resize-verification.md 側で行う。

# db3 相当(small 側・321GiB / 3,000 IOPS)
aws rds create-db-instance-read-replica --region $R \
  --db-instance-identifier fdm-rehearsal-db3 \
  --source-db-instance-identifier fdm-rehearsal-db1 \
  --db-instance-class db.t4g.large --no-multi-az --no-publicly-accessible \
  --vpc-security-group-ids "$REH_SG"
aws rds wait db-instance-available --region $R --db-instance-identifier fdm-rehearsal-db3

# 🛑 本手順書(スナップショット復元)では db3 の 321GiB を再現できない。
#   理由: 復元元スナップショットが 400GiB のため primary が 400GiB になり、
#         replica は source の storage を継承するので replica も 400GiB になる。
#         restore-db-instance-from-db-snapshot の --allocated-storage は拡大のみで縮小不可。
#   → 321GiB の再現が必要な検証(green replica の storage 自動一致)は
#     fastdoctor-manager-green-resize-verification.md(合成データ・新規作成)で行う。
#     そちらでは「primary を 321 で作る → db3 replica 作成 → primary を 400 へ拡張」で再現できる
#     (★本番 db1(2021-10 作成/400) / db3(2024-08 作成/321) / db5(2025-06 作成/400) がこの手順の実例)。
aws rds describe-db-instances --region $R --db-instance-identifier fdm-rehearsal-db3 \
  --query 'DBInstances[0].{Class:DBInstanceClass,Alloc:AllocatedStorage,Iops:Iops}' --output table

# db5 相当(large 側・400GiB / 12,000 IOPS)
aws rds create-db-instance-read-replica --region $R \
  --db-instance-identifier fdm-rehearsal-db5 \
  --source-db-instance-identifier fdm-rehearsal-db1 \
  --db-instance-class db.t4g.2xlarge --no-multi-az --no-publicly-accessible \
  --vpc-security-group-ids "$REH_SG"
aws rds wait db-instance-available --region $R --db-instance-identifier fdm-rehearsal-db5
  • [ ] fdm-rehearsal-db3(db.t4g.large)/ fdm-rehearsal-db5(db.t4g.2xlarge)available(source=fdm-rehearsal-db1)
  • [ ] ★class が非対称であることを確認(同一にしてしまうと #20479 V1 の検証にならない)
  • [ ] ★storage は source 継承で両方 400GiB になる(本番 db3 の 321GiB は本手順書では再現不可。→ green-resize-verification.md)

Step 3. クロスリージョン replica ×1(大阪・db4 相当) ​

bash
SRC_ARN=$(aws rds describe-db-instances --region $R --db-instance-identifier fdm-rehearsal-db1 \
  --query 'DBInstances[0].DBInstanceArn' --output text)
aws rds create-db-instance-read-replica --region $RX \
  --db-instance-identifier fdm-rehearsal-db4 \
  --source-db-instance-identifier "$SRC_ARN" \
  --db-instance-class db.t4g.2xlarge --no-multi-az --no-publicly-accessible \
  --kms-key-id arn:aws:kms:ap-northeast-3:913831226605:key/4df4cd1d-2d9a-4822-821b-a234190c15b4 \
  --db-subnet-group-name public-default --vpc-security-group-ids "$REH_SG_OSAKA"

# ★大阪は別リージョン=別 VPC のため、us-east-1 の $REH_SG は使えない。
#   Step 1-0 と同じ方針で大阪側にもリハ専用 SG を作る(本物 sg-0ea8d35ab381b64fe を流用しない)。
#   REH_SG_OSAKA=$(aws ec2 create-security-group --region $RX --group-name fdm-rehearsal-db-sg \
#     --description "rehearsal clone DB SG (osaka)" --vpc-id <大阪VPC> --query GroupId --output text)
aws rds wait db-instance-available --region $RX --db-instance-identifier fdm-rehearsal-db4
  • [ ] fdm-rehearsal-db4(大阪)available・source=fdm-rehearsal-db1(本番相当トポロジ完成)

Step 4. 本番手順書 §A〜§F をクローンへ適用 ​

以降は fastdoctor-manager.md の §A〜§F をそのまま、下表の読み替えで実行する(コマンドの実体は正本手順書に記載済み・リハーサルの発見4件も反映済み)。

正本手順書の識別子クローンでの識別子
SRC=fastdoctor-manager-db1fdm-rehearsal-db1
BG_NAME=fastdoctor-manager-pg16fdm-rehearsal-pg16
共有PG postgres12-fastdoctor-managerpostgres12-fdm-rehearsal(Step1-2 で作成)
CPG A postgres12-fastdoctor-manager-bgpostgres12-fdm-rehearsal-bg
CPG B postgres16-fastdoctor-managerpostgres16-fdm-rehearsal
CPG C postgres16-fastdoctor-manager-replicapostgres16-fdm-rehearsal-replica
db4(大阪)fdm-rehearsal-db4(大阪)
db6(online-ops 用新 replica)fdm-rehearsal-db6
TGT_VER当日 live 確認で確定(2026-10-09 時点で 16.9〜16.15 が選択可能。本番で使う版とそろえる)

各フェーズの要点(詳細コマンドは正本手順書 §A〜§F):

  • §A: CPG A(postgres12-fdm-rehearsal を copy → -bg+rds.logical_replication=1)/B/C を作成。
  • §B: fdm-rehearsal-db1 に A を付替 → reboot-db-instance --force-failover → ParameterApplyStatus=in-sync。
  • §C: fdm-rehearsal-db6 作成(★作成後に modify-db-instance で replica PG を付替)→ fdm-rehearsal-db4(大阪)を --skip-final-snapshot で削除(replica は final snapshot 不可)→ db1 の replica 一覧から大阪 ARN が消えることを確認。
  • §D: create-blue-green-deployment(source=fdm-rehearsal-db1 の ARN / --target-engine-version 16.14 / --target-db-parameter-group-name postgres16-fdm-rehearsal)→ AVAILABLE(232GB のため数時間規模)→ green replica へ C を付替+reboot して in-sync。
  • §E: 事前 snapshot(PG12・available)→ 最終ゲート → switchover-blue-green-deployment --switchover-timeout 300。シーケンス同期が走る点に注意(may lead to extended downtime)。
  • §F: 下記 Step 5 で全削除。

⚠️ すべてクローン(fdm-rehearsal-*)に対して実行すること。本物 fastdoctor-manager-* に打っていないか、各コマンドの identifier を都度確認する。

  • [ ] §A〜§E をクローンで完走(BG AVAILABLE → SWITCHOVER_COMPLETED)
  • [ ] 所要時間(snapshot / BG AVAILABLE / switchover 書込断)を計測し #15121 or 本番実施チケットに記録

Green 側の storage / instance class 変更の検証は別手順書へ ​

本手順書(フルクローン)では Green 側の class/storage 変更を検証しない。 それは「仕組みの検証」であって「データ規模の検証」ではなく、232GB クローンを使う必然性が無いため。

→ fastdoctor-manager-green-resize-verification.md(合成データ・最小構成)で実施する。

本手順書の存在意義は「本番データ規模でしか測れないこと」に限定する。

検証本手順書(フルクローン)green-resize-verification(合成)
BG 作成の所要時間(232GB コピー)✅ ここでしか測れない❌
switchover の書込断時間(実データ規模)✅ ここでしか測れない❌
実データ固有の問題(巨大テーブル・拡張・論理レプリ)✅ ここでしか出ない❌
Green の class 変更可否・手順△ できるが過剰✅ こちらで実施
green replica の storage 自動一致△ 同上✅ こちらで実施
db3 相当の 321GiB 再現❌ 不可(復元は縮小できない)✅ 可能

§D-3 追加検証: 論理レプリケーション伝播テスト(★クローン限定) ​

本番では実施しない(業務データに test 書込みするため)。クローンでのみ、Blue に INSERT/DELETE → Green に伝播するかを実証し、BG の論理レプリケーション(AWS 自動作成の publication/subscription)が実際に流れていることを確認する。

前提: Blue writer(fdm-rehearsal-db1) と Green writer(fdm-rehearsal-db1-green-xxxx) の 2本のポートフォワード(例 Blue=15432 / Green=15433。Green も非公開なら一時 Public 化 or 同経路で到達)。

対象テーブルは schema_migrations(Rails・単一カラム version(PK)・FK/NOT NULL 最小=安全)。test 行は最後に削除する。

sql
-- 【Blue writer 15432】土台確認
SELECT pubname FROM pg_publication;                                  -- BG の publication(FOR ALL TABLES 相当)
SELECT slot_name, plugin, slot_type, active, wal_status,
       pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), confirmed_flush_lsn)) AS slot_lag
  FROM pg_replication_slots;                                         -- plugin=pgoutput / slot_type=logical / active=t / slot_lag≒0
SELECT application_name, state, sync_state, replay_lag FROM pg_stat_replication; -- green への streaming

-- 【Blue writer 15432】① INSERT
INSERT INTO schema_migrations (version) VALUES ('20260714999999_bg_repl_test');
SELECT count(*) FROM schema_migrations WHERE version='20260714999999_bg_repl_test';  -- 1

-- 【Green writer 15433】② 数秒後に伝播確認
SELECT count(*) FROM schema_migrations WHERE version='20260714999999_bg_repl_test';  -- 1 期待(INSERT 伝播)

-- 【Blue writer 15432】③ DELETE(後始末+DELETE 伝播も確認)
DELETE FROM schema_migrations WHERE version='20260714999999_bg_repl_test';

-- 【Green writer 15433】④ 数秒後に確認
SELECT count(*) FROM schema_migrations WHERE version='20260714999999_bg_repl_test';  -- 0 期待(DELETE 伝播)
  • [ ] Blue の INSERT が Green に伝播(count 0→1)
  • [ ] Blue の DELETE が Green に伝播(count 1→0)
  • [ ] pg_replication_slots.active=t / pg_stat_replication に green への streaming / Green の pg_subscription.subenabled=t

⚠️ 本番手順書 fastdoctor-manager.md §D-3 にはこの INSERT/DELETE 伝播テストは含めない(本番 Green に test データを入れないため)。本番は read-only 検証(pg_stat_statements 存在・subscription 確認・件数整合)+ ANALYZE のみ。

踏み台経由の psql 接続(§B-5 / §D-3 Green 検証 / §E 疎通 で使用) ​

クローンへ psql するには、**production アカウント(967691968827)東京リージョンの踏み台 fd-platform-bastion-tokyo(i-0f44005c3f7259513)**経由で SSM ポートフォワードする(preflight #14832 と同じ経路)。踏み台は NAT 出口 3.113.154.169 → DB の Public エンドポイント(SG の IP 許可経由)で到達する方式。

使うアカウント/プロファイル:

用途アカウントプロファイルリージョン
SSM 踏み台(i-0f44005c3f7259513)967691968827(production)production-adminap-northeast-1
secret fdm_system 取得913831226605(fdsys)fdsys-adminus-east-1
クローン DB 本体913831226605(fdsys)fdsys-adminus-east-1
bash
# ⓪ 前提: クローンを一時 Public 化(restore 時 --no-publicly-accessible のため。踏み台は Public エンドポイント経由で到達)
#    クローンは本物 db1 と同一 SG(sg-018407e4d8bf95620)=踏み台 NAT 3.113.154.169 を許可済みなので、Public 化すれば到達可
AWS_PROFILE=fdsys-admin aws rds modify-db-instance --region us-east-1 \
  --db-instance-identifier fdm-rehearsal-db1 --publicly-accessible --apply-immediately
AWS_PROFILE=fdsys-admin aws rds wait db-instance-available --region us-east-1 --db-instance-identifier fdm-rehearsal-db1
# 反映確認(PubliclyAccessible=true になるまで modifying が続く)
AWS_PROFILE=fdsys-admin aws rds describe-db-instances --region us-east-1 --db-instance-identifier fdm-rehearsal-db1 \
  --query "DBInstances[0].[DBInstanceStatus,PubliclyAccessible]" --output text   # available True

# ① ターミナルA: 踏み台経由でクローンへポートフォワード(★host はクローンの endpoint)
#    endpoint は describe-db-instances の Endpoint.Address(例: fdm-rehearsal-db1.ceupzitfh2wh.us-east-1.rds.amazonaws.com)
AWS_PROFILE=production-admin aws ssm start-session --region ap-northeast-1 --target i-0f44005c3f7259513 \
  --document-name AWS-StartPortForwardingSessionToRemoteHost \
  --parameters '{"host":["fdm-rehearsal-db1.<endpoint-suffix>.us-east-1.rds.amazonaws.com"],"portNumber":["5432"],"localPortNumber":["15432"]}'
#   → "Waiting for connections..." / "Port 15432 opened" になったら放置

# ② ターミナルB: パスワード取得(★fdm_system は password キーではなく DATABASE_URL。urlparse で抽出)
export PGPASSWORD=$(AWS_PROFILE=fdsys-admin aws secretsmanager get-secret-value \
  --region us-east-1 --secret-id fdm_system --query SecretString --output text \
  | python3 -c "import sys,json; from urllib.parse import urlparse,unquote; d=json.load(sys.stdin); print(unquote(urlparse(d['DATABASE_URL']).password or ''))")
echo "len=${#PGPASSWORD}"   # 0 でなければ取得OK(本体は非表示)

# ③ psql(read-only 確認例=§B-5)
psql "host=localhost port=15432 user=fdadmin dbname=fastdoctor_manager_production sslmode=require" -c "
  SHOW rds.logical_replication;   -- on 期待
  SHOW wal_level;                 -- logical 期待
  SHOW wal_sender_timeout;        -- 参考値(例 30s)
"

⚠️ ポートフォワード先 host が クローン fdm-rehearsal-db1... であることを実行前に必ず確認(本物 fastdoctor-manager-db1... を指さない)。

  • fdm_system の DB 認証は DATABASE_URL(postgres://fdadmin:****@host:5432/db)に入っている(password キーは無い。別に POSTGRES_PASSWORD キーもある)。パスワードはクローンも本物と同一(snapshot 復元のため)。
  • Green 検証(§D-3)/ Switchover 後疎通(§E-4)も、①の host を green / 新 writer の endpoint に変えれば同じ経路で接続できる。
  • B-5 後、クローンを非公開に戻す場合: AWS_PROFILE=fdsys-admin aws rds modify-db-instance --region us-east-1 --db-instance-identifier fdm-rehearsal-db1 --no-publicly-accessible --apply-immediately(BG 検証は public/private どちらでも可)。

Step 5(§F). クローン一式を全削除(コスト停止) ​

正本手順書 §F-3 の順序に沿って、クローン用リソースを全削除する(本リハーサルは全て破棄するため writer も --skip-final-snapshot)。

bash
# 5-1. BG レコード削除(switchover 済み・--delete-target なし)
aws rds delete-blue-green-deployment --region $R --blue-green-deployment-identifier <bgd-xxxx>

# 5-2. replica 6台削除(PG16: db3/db5/db6 + PG12: *-old1)
for id in fdm-rehearsal-db3 fdm-rehearsal-db5 fdm-rehearsal-db6 \
          fdm-rehearsal-db3-old1 fdm-rehearsal-db5-old1 fdm-rehearsal-db6-old1; do
  aws rds delete-db-instance --region $R --db-instance-identifier $id --skip-final-snapshot
done
for id in fdm-rehearsal-db3 fdm-rehearsal-db5 fdm-rehearsal-db6 \
          fdm-rehearsal-db3-old1 fdm-rehearsal-db5-old1 fdm-rehearsal-db6-old1; do
  aws rds wait db-instance-deleted --region $R --db-instance-identifier $id
done

# 5-3. writer 2台削除(PG16: db1 + PG12: db1-old1)
for id in fdm-rehearsal-db1 fdm-rehearsal-db1-old1; do
  aws rds delete-db-instance --region $R --db-instance-identifier $id --skip-final-snapshot
  aws rds wait db-instance-deleted --region $R --db-instance-identifier $id
done

# 5-4. 大阪 replica が §C で消えず残っていた場合の保険(通常は §C で削除済み)
aws rds delete-db-instance --region $RX --db-instance-identifier fdm-rehearsal-db4 --skip-final-snapshot 2>/dev/null || true

# 5-5. CPG 4種削除
for pg in postgres12-fdm-rehearsal-bg postgres16-fdm-rehearsal postgres16-fdm-rehearsal-replica postgres12-fdm-rehearsal; do
  aws rds delete-db-parameter-group --region $R --db-parameter-group-name $pg
done

# 5-6. snapshot 削除(Step1 の src + §E の pre-pg16)
aws rds delete-db-snapshot --region $R --db-snapshot-identifier <fdm-rehearsal-src-...>
aws rds delete-db-snapshot --region $R --db-snapshot-identifier <fdm-rehearsal-db1-pre-pg16-...>

# 5-7. 全削除確認(空であること)
aws rds describe-db-instances --region $R --query "DBInstances[?starts_with(DBInstanceIdentifier,'fdm-rehearsal')].DBInstanceIdentifier"
aws rds describe-db-instances --region $RX --query "DBInstances[?starts_with(DBInstanceIdentifier,'fdm-rehearsal')].DBInstanceIdentifier"
aws rds describe-db-parameter-groups --region $R --query "DBParameterGroups[?contains(DBParameterGroupName,'fdm-rehearsal')].DBParameterGroupName"
aws rds describe-db-snapshots --region $R --snapshot-type manual --query "DBSnapshots[?contains(DBSnapshotIdentifier,'rehearsal')].DBSnapshotIdentifier"
  • [ ] fdm-rehearsal-* インスタンス/BG/CPG/snapshot が全て 0
  • [ ] 本物 fastdoctor-manager-db1/db3/db5/db4 が無変更で健在

コスト・時間の目安(本番同等サイズ) ​

  • クローンは primary+replica×3(うち大阪1)で db.t4g.2xlarge 級が最大4台、BG 期間中は green も加わり最大8台相当が数時間稼働 → 相応のコスト。実施枠を決め、終了後は速やかに Step 5 で削除する。
  • 232GB のため snapshot 復元・BG 同期・switchover が develop(小容量)より大幅に長い(BG AVAILABLE まで数時間規模を想定)。§D は必ず本番実施枠の前段として余裕を持って開始する。

注意点(事故防止) ​

  • 必ず fdsys-admin / 913831226605 / us-east-1。他アカウント・他リージョンの同名 PG は別物。
  • 破壊的コマンドは identifier が fdm-rehearsal-* であることを都度目視確認(本物 fastdoctor-manager-* に打たない)。
  • 本物共有PG postgres12-fastdoctor-manager に modify を打たない(copy のみ)。
  • §C の db4 削除は クローンの fdm-rehearsal-db4(大阪) のみ。本物 fastdoctor-manager-db4 は対象外。
  • 実行後は必ず Step 5 で全削除しコストを止める。