fastdoctor-manager PG16 Blue/Green 本番クローン・リハーサル手順書(RDS PostgreSQL・CLI)
本番 fastdoctor-manager(RDS PostgreSQL 12.22 / fdsys 913831226605 / us-east-1)の 本物 DB を一切触らずに、スナップショット復元で作った隔離クローンへ 本番手順書 fastdoctor-manager.md の §A〜§F を通しで適用し、Blue/Green → Switchover が本番データ規模(232GB)で完走できるかを検証するための手順。
位置づけ: これは本番実施の予行演習(リハーサル)である。本番実施そのものの手順は
fastdoctor-manager.mdが正本。本手順は「本番アカウントに本番相当のクローンを立て、正本手順を安全に流す」ためのラッパー。 先行して develop アカウントの小容量クローンで §A〜§F を完走済み(#15121)。本手順はそれを本番アカウント・本番データ規模で再現する。 関連: 本番手順fastdoctor-manager.md/ preflight #14832 / CPG設計 #14856 / db4 #12732 / BGリハーサル #15121
⚠️ 大原則(本物 production を絶対に触らない)
- クローンは 本物
fastdoctor-manager-db1のスナップショットから復元する(スナップショット取得は読取のみ・本物 db1 は無影響)。 - 以降の破壊的操作(PG付替・
reboot --force-failover・db4 削除・BG 作成・Switchover)は すべてクローン側(fdm-rehearsal-*) に対して行う。本物fastdoctor-manager-db1/db3/db5/db4には一切コマンドを打たない。 - クローンは 専用の別名
fdm-rehearsal-*と 専用 CPG(postgres12-fdm-rehearsal*/postgres16-fdm-rehearsal*) を使う。 - 本物の共有PG
postgres12-fastdoctor-managerはcopy(read)でのみ参照し、modifyは絶対にしない(共有PGを変更すると本物 db3 まで pending-reboot になる)。 - §C の「db4 削除」は クローンの大阪 replica
fdm-rehearsal-db4に対してのみ。本物fastdoctor-manager-db4は削除しない。 - 検証完了後は §F でクローン一式を全削除する(コスト停止)。
共通の環境変数
export AWS_PROFILE=fdsys-admin ; R=us-east-1 ; RX=ap-northeast-3 # RX=大阪
aws sts get-caller-identity --query Account --output text # → 913831226605 を必ず確認
TGT_VER=16.14 # ValidUpgradeTarget(16.9〜16.14)から選定全体の流れ
Step 0. 本物 production 構成の収集(read-only)
Step 1. クローン primary 作成(snapshot→restore・本番同等サイズ・Multi-AZ・custom PG)
Step 2. 同一リージョン replica ×2(db3/db5 相当)
Step 3. クロスリージョン replica ×1(大阪・db4 相当)
Step 4. 本番手順書 fastdoctor-manager.md §A〜§F をクローンへ適用(読み替え表で)
Step 5. §F 後始末(クローン一式を全削除)Step 0. 本物 production 構成の収集(read-only)
クローンを本番忠実に作るための値を集める。すべて describe(読取)で本物は無変更。
# db1(primary)の実構成
aws rds describe-db-instances --region $R --db-instance-identifier fastdoctor-manager-db1 \
--query "DBInstances[0].{Class:DBInstanceClass,Engine:EngineVersion,MultiAZ:MultiAZ,Storage:StorageType,\
Allocated:AllocatedStorage,Iops:Iops,Throughput:StorageThroughput,Backup:BackupRetentionPeriod,\
PG:DBParameterGroups[0].DBParameterGroupName,SubnetGroup:DBSubnetGroup.DBSubnetGroupName,\
SG:VpcSecurityGroups[*].VpcSecurityGroupId,KMS:KmsKeyId}" --output table
# db3 / db5(同一リージョン replica)のクラス・PG
aws rds describe-db-instances --region $R \
--query "DBInstances[?DBInstanceIdentifier=='fastdoctor-manager-db3'||DBInstanceIdentifier=='fastdoctor-manager-db5'].{Id:DBInstanceIdentifier,Class:DBInstanceClass,PG:DBParameterGroups[0].DBParameterGroupName}" --output table
# db4(大阪 cross-region replica)の構成 + 大阪の subnet/SG/KMS
aws rds describe-db-instances --region $RX --db-instance-identifier fastdoctor-manager-db4 \
--query "DBInstances[0].{Class:DBInstanceClass,PG:DBParameterGroups[0].DBParameterGroupName,\
SubnetGroup:DBSubnetGroup.DBSubnetGroupName,SG:VpcSecurityGroups[*].VpcSecurityGroupId,KMS:KmsKeyId}" --output table
# アップグレード先バージョン
aws rds describe-db-engine-versions --region $R --engine postgres --engine-version 12.22 --include-all \
--query "DBEngineVersions[0].ValidUpgradeTarget[?starts_with(EngineVersion,'16.')].EngineVersion"
# 共有PG の user param(CPG A のコピー内容確認用。★modify はしない)
aws rds describe-db-parameters --region $R --db-parameter-group-name postgres12-fastdoctor-manager --source user \
--query "Parameters[].{Name:ParameterName,Value:ParameterValue}" --output table収集済みの実値(★2026-10-09 再取得。2026-07 時点から変わっている箇所あり)
db1(primary)
| 項目 | 値 | 備考 |
|---|---|---|
| Class | db.t4g.2xlarge | |
| Engine | 12.22 | アップグレード先は 16.9〜16.15 が選択可能(16.15 が追加された) |
| MultiAZ | true | |
| Storage | gp3 / 400GiB / IOPS 12000 / Throughput 500 | |
| Backup | 7 | |
| parameter group | postgres12-fastdoctor-manager-bg | 🛑 2026-07 時点の postgres12-fastdoctor-manager から変更されている |
| SubnetGroup / VPC | default-vpc-fe806583 / vpc-fe806583 | |
| SG | sg-018407e4d8bf95620 | |
| KMS | arn:aws:kms:us-east-1:913831226605:key/5acd024b-7d77-4ba0-9526-615d8618516e | |
| PubliclyAccessible | true | クローンは --no-publicly-accessible で作る |
| MaintenanceWindow | mon:22:05-mon:22:35 |
🛑 CPG の copy 元を間違えない。
postgres12-fastdoctor-manager-bgには BG の前提であるrds.logical_replication=1とwal_sender_timeout=0が入っている。 旧postgres12-fastdoctor-managerを copy するとこれらが無く、Blue/Green デプロイメントの作成自体が失敗する(クローン作り直しになる)。
postgres12-fastdoctor-manager-bgの user パラメータ(2026-10-09 実測):textrds.logical_replication = 1 ← BG の前提条件 wal_sender_timeout = 0 ← BG 中の切断防止 rds.force_ssl = 1 autovacuum = 1 / checkpoint_timeout = 300 / max_wal_size = 2048 synchronous_commit = on / wal_buffers = -1 maintenance_work_mem = GREATEST({DBInstanceClassMemory*1024/63963136},65536)
replica(★db3 と db5 は非対称。クローンも非対称に作ること)
| Class | AllocatedStorage | IOPS | parameter group | |
|---|---|---|---|---|
| db3 | db.t4g.large | 321 GiB | 3,000 | postgres12-fastdoctor-manager |
| db5 | db.t4g.2xlarge | 400 GiB | 12,000 | postgres12-fastdoctor-manager-replica |
| db4(大阪) | db.t4g.2xlarge | — | — | fd-system-replica |
★この非対称性こそが検証対象(#20479 の V1)。「green replica の storage が green primary(400GiB) に自動一致するか」は、 321GiB の db3 相当が green でどうなるかで初めて検証できる。db5 と同じにして簡略化してはいけない。
db4(大阪・cross-region replica)
| 項目 | 値 |
|---|---|
| Class | db.t4g.2xlarge |
| parameter group | fd-system-replica |
| SubnetGroup | public-default |
| SG | sg-0ea8d35ab381b64fe |
| KMS | arn:aws:kms:ap-northeast-3:913831226605:key/4df4cd1d-2d9a-4822-821b-a234190c15b4 |
🛑 db.m8g は PostgreSQL 12.22 では選べない(2026-10-09 実測)
PG 12.22 / us-east-1 で作成可能な世代:
db.m5 db.m6g db.m6i db.m6in db.r5 db.r5b db.r6g db.r6i db.r6in db.t3 db.t4g db.x2g
★ m8g は含まれない
PG 16.15 / us-east-1:
db.m8g.2xlarge / db.m8g.xlarge gp3 / MaxIops 64,000 / MultiAZ=True ✅⇒ Blue(PG 12.22)側で m8g に上げることは物理的に不可能。 ⇒ fastdoctor-manager.md §C-a が class 変更を Green 側で行うのは「本番 reboot を避けるため」だけでなく 「Green でしかできない」 ため。 ⇒ クローンは必ず本番同等の t4g で作り、Green 側で m8g に上げること。最初から m8g で作ると検証にならない(そもそも PG12 では作れない)。
- [ ] db1/db3/db5/db4 の構成・大阪の subnet/SG/KMS・共有PG param・
TGT_VERを収集済み
Step 1. クローン primary を作成(本番同等・Multi-AZ・custom PG)
# 1-0. ★リハ専用 SG を新規作成(本物 sg-018407e4d8bf95620 を流用しない)
# 理由: 本物 SG を使うとクローンが本番と同じ許可を持ち、意図しない接続を受け得る。
# 踏み台(production アカウント NAT 3.113.154.169)からの 5432 だけを開ける。
REH_SG=$(aws ec2 create-security-group --region $R \
--group-name fdm-rehearsal-db-sg \
--description "rehearsal clone DB SG (bastion only)" \
--vpc-id vpc-fe806583 \
--tag-specifications 'ResourceType=security-group,Tags=[{Key=Name,Value=fdm-rehearsal-db-sg},{Key=ManagedBy,Value=manual},{Key=Issue,Value=20479}]' \
--query 'GroupId' --output text)
aws ec2 authorize-security-group-ingress --region $R --group-id "$REH_SG" \
--ip-permissions 'IpProtocol=tcp,FromPort=5432,ToPort=5432,IpRanges=[{CidrIp=3.113.154.169/32,Description="fd-platform tokyo NAT 1a - bastion"},{CidrIp=18.178.147.64/32,Description="fd-platform tokyo NAT 1c - bastion"}]'
echo "REH_SG=$REH_SG"
# 1-1. クローン元スナップショット
# ★本物 db1 の「自動スナップショット」をそのまま使える(新規取得不要=db1 に負荷をかけない)。
# 最新の available なものを選ぶ。手動取得したい場合のみ下の create-db-snapshot を使う。
SNAP_SRC=$(aws rds describe-db-snapshots --region $R \
--db-instance-identifier fastdoctor-manager-db1 --snapshot-type automated \
--query 'reverse(sort_by(DBSnapshots[?Status==`available`],&SnapshotCreateTime))[0].DBSnapshotIdentifier' --output text)
echo "SNAP_SRC=$SNAP_SRC" # 例: rds:fastdoctor-manager-db1-2026-10-08-21-17
# (手動取得する場合のみ。232GB のため時間がかかる)
# SNAP_SRC=fdm-rehearsal-src-$(date -u +%Y%m%d%H%M)
# aws rds create-db-snapshot --region $R \
# --db-snapshot-identifier $SNAP_SRC --db-instance-identifier fastdoctor-manager-db1
# aws rds wait db-snapshot-available --region $R --db-snapshot-identifier $SNAP_SRC
# 1-2. クローン用 custom PG
# 🛑 copy 元は **postgres12-fastdoctor-manager-bg**(db1 が現在使っている方)。
# 旧 postgres12-fastdoctor-manager を copy すると rds.logical_replication=1 /
# wal_sender_timeout=0 が無く、**BG 作成が失敗する**。
# ★本物共有PGは copy(read) のみ。modify は絶対にしない。
aws rds copy-db-parameter-group --region $R \
--source-db-parameter-group-identifier postgres12-fastdoctor-manager-bg \
--target-db-parameter-group-identifier postgres12-fdm-rehearsal \
--target-db-parameter-group-description "rehearsal clone base PG (copied from -bg; do not touch prod shared PG)"
# 1-2b. copy 結果に BG 前提パラメータが入っていることを確認(★入っていなければ先へ進まない)
aws rds describe-db-parameters --region $R --db-parameter-group-name postgres12-fdm-rehearsal --source user \
--query "Parameters[?ParameterName=='rds.logical_replication'||ParameterName=='wal_sender_timeout'].[ParameterName,ParameterValue]" --output text
# 期待: rds.logical_replication 1 / wal_sender_timeout 0
# 1-3. スナップショットから primary クローンを復元(本番同等サイズ)
aws rds restore-db-instance-from-db-snapshot --region $R \
--db-instance-identifier fdm-rehearsal-db1 \
--db-snapshot-identifier $SNAP_SRC \
--db-instance-class db.t4g.2xlarge \
--multi-az \
--storage-type gp3 --iops 12000 --storage-throughput 500 \
--db-subnet-group-name default-vpc-fe806583 \
--db-parameter-group-name postgres12-fdm-rehearsal \
--vpc-security-group-ids "$REH_SG" \
--no-publicly-accessible
aws rds wait db-instance-available --region $R --db-instance-identifier fdm-rehearsal-db1
# 1-4. backup 有効化(cross-region replica の前提。restore 直後は 0 のことがある)
aws rds modify-db-instance --region $R --db-instance-identifier fdm-rehearsal-db1 \
--backup-retention-period 7 --apply-immediately
aws rds wait db-instance-available --region $R --db-instance-identifier fdm-rehearsal-db1
# 1-5. 復元結果の確認(Multi-AZ / custom PG / storage が期待どおりか)
aws rds describe-db-instances --region $R --db-instance-identifier fdm-rehearsal-db1 \
--query "DBInstances[0].{Status:DBInstanceStatus,MultiAZ:MultiAZ,PG:DBParameterGroups[0].DBParameterGroupName,\
PGStatus:DBParameterGroups[0].ParameterApplyStatus,Storage:StorageType,Allocated:AllocatedStorage,Backup:BackupRetentionPeriod}" --output table- [ ]
fdm-rehearsal-db1available・Multi-AZ・PG=postgres12-fdm-rehearsal(in-sync)・gp3 400GB・Backup=7 - [ ] ★
postgres12-fdm-rehearsalにrds.logical_replication=1/wal_sender_timeout=0が入っている(1-2b) - [ ] ★SG は
fdm-rehearsal-db-sg(本物sg-018407e4d8bf95620ではない) - [ ] ★Class は
db.t4g.2xlarge(本番同等。m8g は PG12 では選べない・Green で上げる)
Step 2. 同一リージョン replica ×2(db3 / db5 相当)
# ★postgres は replica 作成時に --db-parameter-group-name を指定不可 → 作成のみ(source PG を継承)。
# 1台ずつ作成する(同時だと source が一時 modifying になり2台目が弾かれる)。
#
# 🛑 db3 と db5 は本番で **非対称**(2026-10-09 実測)。クローンも非対称に作ること。
# db3: db.t4g.large / 321 GiB / 3,000 IOPS
# db5: db.t4g.2xlarge / 400 GiB / 12,000 IOPS
# → class の非対称性は本手順書でも再現する(storage の非対称性は再現不可)。
# storage 自動一致の検証は green-resize-verification.md 側で行う。
# db3 相当(small 側・321GiB / 3,000 IOPS)
aws rds create-db-instance-read-replica --region $R \
--db-instance-identifier fdm-rehearsal-db3 \
--source-db-instance-identifier fdm-rehearsal-db1 \
--db-instance-class db.t4g.large --no-multi-az --no-publicly-accessible \
--vpc-security-group-ids "$REH_SG"
aws rds wait db-instance-available --region $R --db-instance-identifier fdm-rehearsal-db3
# 🛑 本手順書(スナップショット復元)では db3 の 321GiB を再現できない。
# 理由: 復元元スナップショットが 400GiB のため primary が 400GiB になり、
# replica は source の storage を継承するので replica も 400GiB になる。
# restore-db-instance-from-db-snapshot の --allocated-storage は拡大のみで縮小不可。
# → 321GiB の再現が必要な検証(green replica の storage 自動一致)は
# fastdoctor-manager-green-resize-verification.md(合成データ・新規作成)で行う。
# そちらでは「primary を 321 で作る → db3 replica 作成 → primary を 400 へ拡張」で再現できる
# (★本番 db1(2021-10 作成/400) / db3(2024-08 作成/321) / db5(2025-06 作成/400) がこの手順の実例)。
aws rds describe-db-instances --region $R --db-instance-identifier fdm-rehearsal-db3 \
--query 'DBInstances[0].{Class:DBInstanceClass,Alloc:AllocatedStorage,Iops:Iops}' --output table
# db5 相当(large 側・400GiB / 12,000 IOPS)
aws rds create-db-instance-read-replica --region $R \
--db-instance-identifier fdm-rehearsal-db5 \
--source-db-instance-identifier fdm-rehearsal-db1 \
--db-instance-class db.t4g.2xlarge --no-multi-az --no-publicly-accessible \
--vpc-security-group-ids "$REH_SG"
aws rds wait db-instance-available --region $R --db-instance-identifier fdm-rehearsal-db5- [ ]
fdm-rehearsal-db3(db.t4g.large)/fdm-rehearsal-db5(db.t4g.2xlarge)available(source=fdm-rehearsal-db1) - [ ] ★class が非対称であることを確認(同一にしてしまうと #20479 V1 の検証にならない)
- [ ] ★storage は source 継承で両方 400GiB になる(本番 db3 の 321GiB は本手順書では再現不可。→ green-resize-verification.md)
Step 3. クロスリージョン replica ×1(大阪・db4 相当)
SRC_ARN=$(aws rds describe-db-instances --region $R --db-instance-identifier fdm-rehearsal-db1 \
--query 'DBInstances[0].DBInstanceArn' --output text)
aws rds create-db-instance-read-replica --region $RX \
--db-instance-identifier fdm-rehearsal-db4 \
--source-db-instance-identifier "$SRC_ARN" \
--db-instance-class db.t4g.2xlarge --no-multi-az --no-publicly-accessible \
--kms-key-id arn:aws:kms:ap-northeast-3:913831226605:key/4df4cd1d-2d9a-4822-821b-a234190c15b4 \
--db-subnet-group-name public-default --vpc-security-group-ids "$REH_SG_OSAKA"
# ★大阪は別リージョン=別 VPC のため、us-east-1 の $REH_SG は使えない。
# Step 1-0 と同じ方針で大阪側にもリハ専用 SG を作る(本物 sg-0ea8d35ab381b64fe を流用しない)。
# REH_SG_OSAKA=$(aws ec2 create-security-group --region $RX --group-name fdm-rehearsal-db-sg \
# --description "rehearsal clone DB SG (osaka)" --vpc-id <大阪VPC> --query GroupId --output text)
aws rds wait db-instance-available --region $RX --db-instance-identifier fdm-rehearsal-db4- [ ]
fdm-rehearsal-db4(大阪)available・source=fdm-rehearsal-db1(本番相当トポロジ完成)
Step 4. 本番手順書 §A〜§F をクローンへ適用
以降は fastdoctor-manager.md の §A〜§F をそのまま、下表の読み替えで実行する(コマンドの実体は正本手順書に記載済み・リハーサルの発見4件も反映済み)。
| 正本手順書の識別子 | クローンでの識別子 |
|---|---|
SRC=fastdoctor-manager-db1 | fdm-rehearsal-db1 |
BG_NAME=fastdoctor-manager-pg16 | fdm-rehearsal-pg16 |
共有PG postgres12-fastdoctor-manager | postgres12-fdm-rehearsal(Step1-2 で作成) |
CPG A postgres12-fastdoctor-manager-bg | postgres12-fdm-rehearsal-bg |
CPG B postgres16-fastdoctor-manager | postgres16-fdm-rehearsal |
CPG C postgres16-fastdoctor-manager-replica | postgres16-fdm-rehearsal-replica |
| db4(大阪) | fdm-rehearsal-db4(大阪) |
| db6(online-ops 用新 replica) | fdm-rehearsal-db6 |
TGT_VER | 当日 live 確認で確定(2026-10-09 時点で 16.9〜16.15 が選択可能。本番で使う版とそろえる) |
各フェーズの要点(詳細コマンドは正本手順書 §A〜§F):
- §A: CPG A(
postgres12-fdm-rehearsalをcopy→-bg+rds.logical_replication=1)/B/C を作成。 - §B:
fdm-rehearsal-db1に A を付替 →reboot-db-instance --force-failover→ParameterApplyStatus=in-sync。 - §C:
fdm-rehearsal-db6作成(★作成後にmodify-db-instanceで replica PG を付替)→fdm-rehearsal-db4(大阪)を--skip-final-snapshotで削除(replica は final snapshot 不可)→ db1 の replica 一覧から大阪 ARN が消えることを確認。 - §D:
create-blue-green-deployment(source=fdm-rehearsal-db1の ARN /--target-engine-version 16.14/--target-db-parameter-group-name postgres16-fdm-rehearsal)→AVAILABLE(232GB のため数時間規模)→ green replica へ C を付替+reboot して in-sync。 - §E: 事前 snapshot(PG12・available)→ 最終ゲート →
switchover-blue-green-deployment --switchover-timeout 300。シーケンス同期が走る点に注意(may lead to extended downtime)。 - §F: 下記 Step 5 で全削除。
⚠️ すべてクローン(
fdm-rehearsal-*)に対して実行すること。本物fastdoctor-manager-*に打っていないか、各コマンドの identifier を都度確認する。
- [ ] §A〜§E をクローンで完走(BG AVAILABLE → SWITCHOVER_COMPLETED)
- [ ] 所要時間(snapshot / BG AVAILABLE / switchover 書込断)を計測し #15121 or 本番実施チケットに記録
Green 側の storage / instance class 変更の検証は別手順書へ
本手順書(フルクローン)では Green 側の class/storage 変更を検証しない。 それは「仕組みの検証」であって「データ規模の検証」ではなく、232GB クローンを使う必然性が無いため。
→
fastdoctor-manager-green-resize-verification.md(合成データ・最小構成)で実施する。本手順書の存在意義は「本番データ規模でしか測れないこと」に限定する。
検証 本手順書(フルクローン) green-resize-verification(合成) BG 作成の所要時間(232GB コピー) ✅ ここでしか測れない ❌ switchover の書込断時間(実データ規模) ✅ ここでしか測れない ❌ 実データ固有の問題(巨大テーブル・拡張・論理レプリ) ✅ ここでしか出ない ❌ Green の class 変更可否・手順 △ できるが過剰 ✅ こちらで実施 green replica の storage 自動一致 △ 同上 ✅ こちらで実施 db3 相当の 321GiB 再現 ❌ 不可(復元は縮小できない) ✅ 可能
§D-3 追加検証: 論理レプリケーション伝播テスト(★クローン限定)
本番では実施しない(業務データに test 書込みするため)。クローンでのみ、Blue に INSERT/DELETE → Green に伝播するかを実証し、BG の論理レプリケーション(AWS 自動作成の publication/subscription)が実際に流れていることを確認する。
前提: Blue writer(fdm-rehearsal-db1) と Green writer(fdm-rehearsal-db1-green-xxxx) の 2本のポートフォワード(例 Blue=15432 / Green=15433。Green も非公開なら一時 Public 化 or 同経路で到達)。
対象テーブルは schema_migrations(Rails・単一カラム version(PK)・FK/NOT NULL 最小=安全)。test 行は最後に削除する。
-- 【Blue writer 15432】土台確認
SELECT pubname FROM pg_publication; -- BG の publication(FOR ALL TABLES 相当)
SELECT slot_name, plugin, slot_type, active, wal_status,
pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), confirmed_flush_lsn)) AS slot_lag
FROM pg_replication_slots; -- plugin=pgoutput / slot_type=logical / active=t / slot_lag≒0
SELECT application_name, state, sync_state, replay_lag FROM pg_stat_replication; -- green への streaming
-- 【Blue writer 15432】① INSERT
INSERT INTO schema_migrations (version) VALUES ('20260714999999_bg_repl_test');
SELECT count(*) FROM schema_migrations WHERE version='20260714999999_bg_repl_test'; -- 1
-- 【Green writer 15433】② 数秒後に伝播確認
SELECT count(*) FROM schema_migrations WHERE version='20260714999999_bg_repl_test'; -- 1 期待(INSERT 伝播)
-- 【Blue writer 15432】③ DELETE(後始末+DELETE 伝播も確認)
DELETE FROM schema_migrations WHERE version='20260714999999_bg_repl_test';
-- 【Green writer 15433】④ 数秒後に確認
SELECT count(*) FROM schema_migrations WHERE version='20260714999999_bg_repl_test'; -- 0 期待(DELETE 伝播)- [ ] Blue の INSERT が Green に伝播(count 0→1)
- [ ] Blue の DELETE が Green に伝播(count 1→0)
- [ ]
pg_replication_slots.active=t/pg_stat_replicationに green への streaming / Green のpg_subscription.subenabled=t
⚠️ 本番手順書
fastdoctor-manager.md§D-3 にはこの INSERT/DELETE 伝播テストは含めない(本番 Green に test データを入れないため)。本番は read-only 検証(pg_stat_statements 存在・subscription 確認・件数整合)+ ANALYZE のみ。
踏み台経由の psql 接続(§B-5 / §D-3 Green 検証 / §E 疎通 で使用)
クローンへ psql するには、**production アカウント(967691968827)東京リージョンの踏み台 fd-platform-bastion-tokyo(i-0f44005c3f7259513)**経由で SSM ポートフォワードする(preflight #14832 と同じ経路)。踏み台は NAT 出口 3.113.154.169 → DB の Public エンドポイント(SG の IP 許可経由)で到達する方式。
使うアカウント/プロファイル:
| 用途 | アカウント | プロファイル | リージョン |
|---|---|---|---|
SSM 踏み台(i-0f44005c3f7259513) | 967691968827(production) | production-admin | ap-northeast-1 |
secret fdm_system 取得 | 913831226605(fdsys) | fdsys-admin | us-east-1 |
| クローン DB 本体 | 913831226605(fdsys) | fdsys-admin | us-east-1 |
# ⓪ 前提: クローンを一時 Public 化(restore 時 --no-publicly-accessible のため。踏み台は Public エンドポイント経由で到達)
# クローンは本物 db1 と同一 SG(sg-018407e4d8bf95620)=踏み台 NAT 3.113.154.169 を許可済みなので、Public 化すれば到達可
AWS_PROFILE=fdsys-admin aws rds modify-db-instance --region us-east-1 \
--db-instance-identifier fdm-rehearsal-db1 --publicly-accessible --apply-immediately
AWS_PROFILE=fdsys-admin aws rds wait db-instance-available --region us-east-1 --db-instance-identifier fdm-rehearsal-db1
# 反映確認(PubliclyAccessible=true になるまで modifying が続く)
AWS_PROFILE=fdsys-admin aws rds describe-db-instances --region us-east-1 --db-instance-identifier fdm-rehearsal-db1 \
--query "DBInstances[0].[DBInstanceStatus,PubliclyAccessible]" --output text # available True
# ① ターミナルA: 踏み台経由でクローンへポートフォワード(★host はクローンの endpoint)
# endpoint は describe-db-instances の Endpoint.Address(例: fdm-rehearsal-db1.ceupzitfh2wh.us-east-1.rds.amazonaws.com)
AWS_PROFILE=production-admin aws ssm start-session --region ap-northeast-1 --target i-0f44005c3f7259513 \
--document-name AWS-StartPortForwardingSessionToRemoteHost \
--parameters '{"host":["fdm-rehearsal-db1.<endpoint-suffix>.us-east-1.rds.amazonaws.com"],"portNumber":["5432"],"localPortNumber":["15432"]}'
# → "Waiting for connections..." / "Port 15432 opened" になったら放置
# ② ターミナルB: パスワード取得(★fdm_system は password キーではなく DATABASE_URL。urlparse で抽出)
export PGPASSWORD=$(AWS_PROFILE=fdsys-admin aws secretsmanager get-secret-value \
--region us-east-1 --secret-id fdm_system --query SecretString --output text \
| python3 -c "import sys,json; from urllib.parse import urlparse,unquote; d=json.load(sys.stdin); print(unquote(urlparse(d['DATABASE_URL']).password or ''))")
echo "len=${#PGPASSWORD}" # 0 でなければ取得OK(本体は非表示)
# ③ psql(read-only 確認例=§B-5)
psql "host=localhost port=15432 user=fdadmin dbname=fastdoctor_manager_production sslmode=require" -c "
SHOW rds.logical_replication; -- on 期待
SHOW wal_level; -- logical 期待
SHOW wal_sender_timeout; -- 参考値(例 30s)
"⚠️ ポートフォワード先
hostが クローンfdm-rehearsal-db1...であることを実行前に必ず確認(本物fastdoctor-manager-db1...を指さない)。
fdm_systemの DB 認証はDATABASE_URL(postgres://fdadmin:****@host:5432/db)に入っている(passwordキーは無い。別にPOSTGRES_PASSWORDキーもある)。パスワードはクローンも本物と同一(snapshot 復元のため)。- Green 検証(§D-3)/ Switchover 後疎通(§E-4)も、①の
hostを green / 新 writer の endpoint に変えれば同じ経路で接続できる。- B-5 後、クローンを非公開に戻す場合:
AWS_PROFILE=fdsys-admin aws rds modify-db-instance --region us-east-1 --db-instance-identifier fdm-rehearsal-db1 --no-publicly-accessible --apply-immediately(BG 検証は public/private どちらでも可)。
Step 5(§F). クローン一式を全削除(コスト停止)
正本手順書 §F-3 の順序に沿って、クローン用リソースを全削除する(本リハーサルは全て破棄するため writer も --skip-final-snapshot)。
# 5-1. BG レコード削除(switchover 済み・--delete-target なし)
aws rds delete-blue-green-deployment --region $R --blue-green-deployment-identifier <bgd-xxxx>
# 5-2. replica 6台削除(PG16: db3/db5/db6 + PG12: *-old1)
for id in fdm-rehearsal-db3 fdm-rehearsal-db5 fdm-rehearsal-db6 \
fdm-rehearsal-db3-old1 fdm-rehearsal-db5-old1 fdm-rehearsal-db6-old1; do
aws rds delete-db-instance --region $R --db-instance-identifier $id --skip-final-snapshot
done
for id in fdm-rehearsal-db3 fdm-rehearsal-db5 fdm-rehearsal-db6 \
fdm-rehearsal-db3-old1 fdm-rehearsal-db5-old1 fdm-rehearsal-db6-old1; do
aws rds wait db-instance-deleted --region $R --db-instance-identifier $id
done
# 5-3. writer 2台削除(PG16: db1 + PG12: db1-old1)
for id in fdm-rehearsal-db1 fdm-rehearsal-db1-old1; do
aws rds delete-db-instance --region $R --db-instance-identifier $id --skip-final-snapshot
aws rds wait db-instance-deleted --region $R --db-instance-identifier $id
done
# 5-4. 大阪 replica が §C で消えず残っていた場合の保険(通常は §C で削除済み)
aws rds delete-db-instance --region $RX --db-instance-identifier fdm-rehearsal-db4 --skip-final-snapshot 2>/dev/null || true
# 5-5. CPG 4種削除
for pg in postgres12-fdm-rehearsal-bg postgres16-fdm-rehearsal postgres16-fdm-rehearsal-replica postgres12-fdm-rehearsal; do
aws rds delete-db-parameter-group --region $R --db-parameter-group-name $pg
done
# 5-6. snapshot 削除(Step1 の src + §E の pre-pg16)
aws rds delete-db-snapshot --region $R --db-snapshot-identifier <fdm-rehearsal-src-...>
aws rds delete-db-snapshot --region $R --db-snapshot-identifier <fdm-rehearsal-db1-pre-pg16-...>
# 5-7. 全削除確認(空であること)
aws rds describe-db-instances --region $R --query "DBInstances[?starts_with(DBInstanceIdentifier,'fdm-rehearsal')].DBInstanceIdentifier"
aws rds describe-db-instances --region $RX --query "DBInstances[?starts_with(DBInstanceIdentifier,'fdm-rehearsal')].DBInstanceIdentifier"
aws rds describe-db-parameter-groups --region $R --query "DBParameterGroups[?contains(DBParameterGroupName,'fdm-rehearsal')].DBParameterGroupName"
aws rds describe-db-snapshots --region $R --snapshot-type manual --query "DBSnapshots[?contains(DBSnapshotIdentifier,'rehearsal')].DBSnapshotIdentifier"- [ ]
fdm-rehearsal-*インスタンス/BG/CPG/snapshot が全て 0 - [ ] 本物
fastdoctor-manager-db1/db3/db5/db4が無変更で健在
コスト・時間の目安(本番同等サイズ)
- クローンは primary+replica×3(うち大阪1)で
db.t4g.2xlarge級が最大4台、BG 期間中は green も加わり最大8台相当が数時間稼働 → 相応のコスト。実施枠を決め、終了後は速やかに Step 5 で削除する。 - 232GB のため snapshot 復元・BG 同期・switchover が develop(小容量)より大幅に長い(BG AVAILABLE まで数時間規模を想定)。§D は必ず本番実施枠の前段として余裕を持って開始する。
注意点(事故防止)
- 必ず
fdsys-admin/ 913831226605 / us-east-1。他アカウント・他リージョンの同名 PG は別物。 - 破壊的コマンドは identifier が
fdm-rehearsal-*であることを都度目視確認(本物fastdoctor-manager-*に打たない)。 - 本物共有PG
postgres12-fastdoctor-managerにmodifyを打たない(copyのみ)。 - §C の db4 削除は クローンの
fdm-rehearsal-db4(大阪) のみ。本物fastdoctor-manager-db4は対象外。 - 実行後は必ず Step 5 で全削除しコストを止める。