fastdoctor-manager PG16: Green の cold-start 対策リハーサル(本番スナップショットのクローン・最小構成)
目的は pg_prewarm を試すことではない。 本番手順書 fastdoctor-manager.md §D-5 に残っている未確定の値を実測で確定すること。 追跡: mental-online-karte#21471(本リハーサル)/ #21466(親)/ 前回の仕組み検証: #20479
〔2026-10-23〕本番の BG 作成は 10/29(前日)に変更した。DDL の期限は 10/28。
〔2026-10-21 方針変更〕本番 db1 の自動スナップショットから復元したクローンで行う。 読み込み速度・buffer 量・代表クエリは データの中身と分布に左右されるため、合成データでは本番へ当てはめられない(料金は class と割当容量で決まるので合成でも同額)。 クローンは PHI を含む=本番と同じ扱い:
- 本番の自動スナップショットから復元する(新規取得しない=本番 DB に負荷をかけない)
- 専用 SG(踏み台の NAT 2 本だけ)。本物の SG は使わない。接続情報は本番と同じなので本番同様に扱う
- データはクローン内で読むだけ。記録するのは時間・サイズ・実行計画の数値だけで、行の値・クエリのパラメータ値は記録しない
- 終了後は当日中に削除する(10. cleanup) 本物の
fastdoctor-manager-*には一切触れない。 すべての作成・変更・削除コマンドはguardを通す(後述)。
0. このリハーサルで決めること
| # | 決めること | 本番手順書の反映先 | 判定に使う手順 |
|---|---|---|---|
| P0-A | PG12 / t4g から、BG 作成時に PG16 + m8g を同時指定できるか(Case A) | §D-2・§C-a-8 | 4 |
| P0-B | Green primary / replica のクラス(Case A でレプリカも m8g になるか) | §C-a-8 | 4 |
| V9 | ストレージ初期化が始まるか(作成時 / t4g→m8g の変更後)、所要時間 | §D-5-3(read の要否) | 4〜5 |
| V9b | Multi-AZ のクラス変更でフェイルオーバーと AZ 変更が起きる順序、初期化との前後関係 | §D-5-4 | 5 |
| W1 | pg_prewarm 1 回のサイズ(32 / 64 / 128 / 256MB)、キャンセルが効くまでの時間 | §D-5-5 | 7-2 |
| W2 | 並列数(1 本で足りるか) | §D-5-5 | 7-3 |
| W3 | 冷えたディスクの読み込み速度(MB/s)→ 本番の read 所要時間 | §D-5-3 | 7-2 |
| W4 | db1 の buffer 量(パターン A / B / C)、db6 の最小構成 | §D-5-5 | 7-4・7-5 |
| S1 | STOP 条件の補正(ブルーのスロット遅れの増え方、db6 の遅延・競合) | §D-5-6 | 7 全体 |
| V10 | 切り替えで再起動・キャッシュ消失が起きるか → 業務再開前の再確認の要否 | §D-5-4 手順 8 | 8 |
やらないこと: db3 / db5 の warm-up、SQL の恒久改善、DB ロール改善、クローンからのデータの持ち出し。
1. 構成と費用
Blue(PG 12.22・本番スナップショットから復元) Green(BG が作る・PG 16.x)
${PFX}-db1 db.t4g.2xlarge Multi-AZ → ${PFX}-db1-green-xxxx Case A: m8g.2xlarge / Case B: t4g → m8g
└ ${PFX}-db6 db.t4g.2xlarge Multi-AZ → └ ${PFX}-db6-green-xxxx t4g → m8g(作成後に modify)
いずれも gp3 400GiB / 12,000 IOPS / 500MiB(本番 db1 と同じ。400GiB 以上なのでこの IOPS は追加料金なし)料金(オンデマンド・us-east-1・料金 API の 2026-10-20 公開値)
| 項目 | 単価 |
|---|---|
| db.t4g.2xlarge Multi-AZ | $1.034/時 |
| db.m8g.2xlarge Multi-AZ | $1.344/時 |
| gp3 Multi-AZ | $0.23/GB-月 → 400GiB で約 $0.126/時/台 |
| フェーズ | 稼働台数 | 時間単価 |
|---|---|---|
| Blue のみ(データ準備) | t4g Multi-AZ ×2 | 約 $2.32/時 |
| Blue + Green(Green が m8g になった後) | t4g ×2 + m8g ×2 | 約 $5.26/時 |
| 稼働時間 | 概算(Green ありの単価で計算=上限側) |
|---|---|
| 2 時間 | 約 $11 |
| 4 時間 | 約 $21 |
| 8 時間 | 約 $42 |
| 24 時間 | 約 $126 |
- 想定の流れ(約 12〜14 時間。復元・レプリカ作成・BG 作成・クラス変更・pre-ANALYZE 約 91 分・比較試験・切り替え)では 約 $60〜75。BG を作り直す(Case A 失敗 → Case B)と約 1 時間延びる
- t4g の CPU クレジット超過(unlimited)で少額の追加があり得る。バックアップは保持 1 日で、ストレージ相当量まで無料
- 24 時間を超えたら一度止めて判断する(「11. 中止の条件」)
2. 共通の変数・ガード・台帳
export AWS_PROFILE=fdsys-admin ; export AWS_REGION=us-east-1 ; R=us-east-1
test "$(aws sts get-caller-identity --query Account --output text)" = 913831226605 || { echo "アカウント違い"; exit 1; }
PFX=fdm-coldstart # ★すべての資源名はこれで始める
TAG_ISSUE=21466
TGT_VER=16.15 # 当日 describe-db-engine-versions で本番と同じ版を確認
SRC_CLASS=db.t4g.2xlarge ; TGT_CLASS=db.m8g.2xlarge
VPC=vpc-fe806583 ; SUBNET_GRP=default-vpc-fe806583
BASTION=i-0f44005c3f7259513
WORK=$HOME/fdm-coldstart ; mkdir -p "$WORK" ; LEDGER=$WORK/ledger.tsv ; touch "$LEDGER"
# ★ガード: rehearsal 資源以外を変更・削除しようとしたら止める
guard() { case "$1" in
${PFX}-*|postgres12-${PFX}*|postgres16-${PFX}*) return 0 ;;
fastdoctor-manager*|postgres12-fastdoctor-manager*|postgres16-fastdoctor-manager*) echo "🛑 GUARD: 本番資源 $1"; return 1 ;;
*) echo "🛑 GUARD: 想定外の名前 $1"; return 1 ;; esac; }
# 台帳: 作ったものを 1 行ずつ記録し、cleanup はここから逆引きする
ledger() { printf '%s\t%s\t%s\n' "$(date -u +%FT%TZ)" "$1" "$2" >> "$LEDGER"; } # 種別 / 識別子3. create(Blue の作成とデータ準備)
3-0. 事前確認(read-only)
# 既存の rehearsal 資源が無い(前回の残骸が無い)こと
aws rds describe-db-instances --query "DBInstances[?starts_with(DBInstanceIdentifier,'${PFX}')].DBInstanceIdentifier" --output text
aws rds describe-blue-green-deployments --query "BlueGreenDeployments[?starts_with(BlueGreenDeploymentName,'${PFX}')].BlueGreenDeploymentIdentifier" --output text
# m8g の可否(source / target の区別): 12.22 は空、16.x は出る
for v in 12.22 $TGT_VER; do echo "PG $v:"; aws rds describe-orderable-db-instance-options --engine postgres --engine-version $v \
--db-instance-class $TGT_CLASS --query 'length(OrderableDBInstanceOptions)' --output text; done
# 12.22 → $TGT_VER がアップグレード先として有効
aws rds describe-db-engine-versions --engine postgres --engine-version 12.22 \
--query "DBEngineVersions[0].ValidUpgradeTarget[?EngineVersion=='$TGT_VER'].EngineVersion" --output text3-1. SG とパラメータグループ
# 実行すると: VPC に rehearsal 専用の SG を作り、踏み台の NAT 2 本からの 5432 だけを許可する(本物の SG は使わない)
SG=$(aws ec2 create-security-group --group-name ${PFX}-db-sg --description "coldstart rehearsal (bastion only)" --vpc-id $VPC \
--tag-specifications "ResourceType=security-group,Tags=[{Key=Name,Value=${PFX}-db-sg},{Key=Issue,Value=$TAG_ISSUE}]" --query GroupId --output text)
ledger sg "$SG"
aws ec2 authorize-security-group-ingress --group-id "$SG" --ip-permissions \
'IpProtocol=tcp,FromPort=5432,ToPort=5432,IpRanges=[{CidrIp=3.113.154.169/32,Description="bastion NAT 1a"},{CidrIp=18.178.147.64/32,Description="bastion NAT 1c"}]'
# 実行すると: 本番の CPG を「読んで複製」するだけ(本番の CPG は変更しない)
aws rds copy-db-parameter-group --source-db-parameter-group-identifier postgres12-fastdoctor-manager-bg \
--target-db-parameter-group-identifier postgres12-${PFX} --target-db-parameter-group-description "coldstart rehearsal PG12 (copy of prod -bg)"
ledger cpg postgres12-${PFX}
aws rds copy-db-parameter-group --source-db-parameter-group-identifier postgres16-fastdoctor-manager \
--target-db-parameter-group-identifier postgres16-${PFX} --target-db-parameter-group-description "coldstart rehearsal PG16 (copy of prod B)"
ledger cpg postgres16-${PFX}
# rehearsal 用の計測設定(I/O 時間を EXPLAIN に出す)。guard を通してから変更する
for pg in postgres12-${PFX} postgres16-${PFX}; do guard $pg && aws rds modify-db-parameter-group --db-parameter-group-name $pg \
--parameters ParameterName=track_io_timing,ParameterValue=1,ApplyMethod=immediate; done
aws rds describe-db-parameters --db-parameter-group-name postgres12-${PFX} --source user \
--query "Parameters[?ParameterName=='rds.logical_replication'||ParameterName=='wal_sender_timeout'||ParameterName=='track_io_timing'].[ParameterName,ParameterValue]" --output text
# 期待: rds.logical_replication 1 / wal_sender_timeout 0 / track_io_timing 13-2. Blue primary(db1 相当)=本番 db1 の自動スナップショットから復元
# 復元元: 本番 db1 の最新の自動スナップショット(読むだけ。本番 DB には何もしない)
SNAP=$(aws rds describe-db-snapshots --db-instance-identifier fastdoctor-manager-db1 --snapshot-type automated \
--query 'reverse(sort_by(DBSnapshots[?Status==`available`],&SnapshotCreateTime))[0].DBSnapshotIdentifier' --output text)
echo "SNAP=$SNAP" ; ledger note "snapshot=$SNAP"
# 実行すると: 本番 db1 のスナップショットから PHI を含むクローンを Multi-AZ で作る(本番と同じ class / storage)。
# 公開設定は true だが SG で踏み台 NAT だけに絞る(#2915: false だと踏み台から届かない)。
# クローンはスナップショット由来なので、それ自体も冷えている(lazy loading)
aws rds restore-db-instance-from-db-snapshot --db-instance-identifier ${PFX}-db1 --db-snapshot-identifier "$SNAP" \
--db-instance-class $SRC_CLASS --multi-az --storage-type gp3 --iops 12000 --storage-throughput 500 \
--db-subnet-group-name $SUBNET_GRP --vpc-security-group-ids "$SG" --publicly-accessible \
--db-parameter-group-name postgres12-${PFX} \
--tags Key=Issue,Value=$TAG_ISSUE Key=Purpose,Value=coldstart-rehearsal Key=Data,Value=prod-clone-PHI
ledger db ${PFX}-db1
aws rds wait db-instance-available --db-instance-identifier ${PFX}-db1
# レプリカと BG の前提(自動バックアップ)。復元直後は 0 のことがある
guard ${PFX}-db1 && aws rds modify-db-instance --db-instance-identifier ${PFX}-db1 --backup-retention-period 1 --apply-immediately
aws rds wait db-instance-available --db-instance-identifier ${PFX}-db1
aws rds describe-db-instances --db-instance-identifier ${PFX}-db1 --query 'DBInstances[0].{St:DBInstanceStatus,Ver:EngineVersion,Cls:DBInstanceClass,MAZ:MultiAZ,PG:DBParameterGroups[0].ParameterApplyStatus,Bk:BackupRetentionPeriod,Secret:MasterUserSecret}' --output table
# 期待: available / 12.22 / t4g.2xlarge / True / in-sync / 1 / None(managed password ではない=レプリカを作れる)3-3. Blue replica(db6 相当)を先に作る
〔2026-10-21 変更〕本番は db3 / db5 / db6 が既にある状態で db1 に DDL を入れる。同じ順にして、DDL がレプリカへ伝わるか・レプリカへの影響を実測する。
# 実行すると: db1 相当から Multi-AZ のリードレプリカを作る(約 20 分)
aws rds create-db-instance-read-replica --db-instance-identifier ${PFX}-db6 --source-db-instance-identifier ${PFX}-db1 \
--db-instance-class $SRC_CLASS --multi-az --publicly-accessible --vpc-security-group-ids "$SG" \
--tags Key=Issue,Value=$TAG_ISSUE Key=Purpose,Value=coldstart-rehearsal
ledger db ${PFX}-db6
aws rds wait db-instance-available --db-instance-identifier ${PFX}-db63-4. 主系で DDL(レプリカがある状態で。本番の BG 作成前〔10/28 まで〕の作業と同じ順)
トンネル(別ターミナル):
EP1=$(aws rds describe-db-instances --db-instance-identifier ${PFX}-db1 --query 'DBInstances[0].Endpoint.Address' --output text)
AWS_PROFILE=production-admin aws ssm start-session --region ap-northeast-1 --target $BASTION \
--document-name AWS-StartPortForwardingSessionToRemoteHost \
--parameters "{\"host\":[\"$EP1\"],\"portNumber\":[\"5432\"],\"localPortNumber\":[\"15460\"]}"# 接続情報は本番と同じ(fdm_system の DATABASE_URL のユーザー / パスワード / DB 名)。値は表示せず 600 のファイルにだけ置く
SJ=$(aws secretsmanager get-secret-value --secret-id fdm_system --query SecretString --output text)
read -r DBU DBN < <(SECRET="$SJ" PWF="$PWF" python3 -I - <<'PY2'
import os, json, urllib.parse as up
d=json.loads(os.environ['SECRET'], strict=False); pu=up.urlparse(d['DATABASE_URL'])
fd=os.open(os.environ['PWF'], os.O_WRONLY|os.O_CREAT|os.O_TRUNC, 0o600); os.write(fd, up.unquote(pu.password or '').encode()); os.close(fd)
print(up.unquote(pu.username or ''), (pu.path or '/').lstrip('/').split('?')[0])
PY2
); unset SJ
PSQL_AT() { local port=$1; shift; PGPASSWORD="$(cat "$PWF")" psql "host=127.0.0.1 port=$port user=$DBU dbname=$DBN sslmode=require" -v ON_ERROR_STOP=1 -P pager=off "$@"; }
# ① 復元で持ち込まれたレプリケーションスロットの確認(本番 db1 にはスロットがある)。
# 残っていると WAL を保持し続け、BG 作成にも影響しうる → クローンでは削除する(クローン上の操作。本番には影響しない)
PSQL_AT 15460 -c "SELECT slot_name, slot_type, plugin, active FROM pg_replication_slots;"
# 残っていれば(クローンであることを確認してから):
# PSQL_AT 15460 -c "SELECT pg_drop_replication_slot(slot_name) FROM pg_replication_slots WHERE NOT active;"
# ② 本番の BG 前と同じ DDL(本番では 10/28 までに db1 で行うもの)
PSQL_AT 15460 <<'SQL'
SELECT inet_server_addr(), current_setting('server_version'); -- クローンであることの確認(本番 db1 ではない)
CREATE EXTENSION IF NOT EXISTS pg_prewarm;
CREATE EXTENSION IF NOT EXISTS pg_buffercache; -- 計測用(クローンだけ。本番には入れない)
SELECT p.oid::regprocedure AS sig, pg_get_userbyid(p.proowner) AS owner, p.proacl
FROM pg_proc p JOIN pg_depend d ON d.objid = p.oid AND d.deptype = 'e' JOIN pg_extension e ON e.oid = d.refobjid
WHERE e.extname = 'pg_prewarm'; -- 本番手順の「導入直後の確認」の予行
\timing on
CREATE INDEX CONCURRENTLY IF NOT EXISTS index_images_on_created_at_with_insurance_type
ON images (created_at) WHERE insurance_type IS NOT NULL; -- #21361 相当(所要時間も記録)
SQL# DDL の前後で、レプリカ(db6 相当・ポート 15462)への伝わり方と影響を記録する
PSQL_AT 15462 -c "SELECT now(), now() - pg_last_xact_replay_timestamp() AS replay_delay, (SELECT installed_version FROM pg_available_extensions WHERE name='pg_prewarm') AS pg_prewarm_on_replica;"
PSQL_AT 15462 -c "SELECT confl_lock, confl_snapshot, confl_bufferpin FROM pg_stat_database_conflicts WHERE datname = current_database();"
# CREATE EXTENSION の直後: レプリカで installed_version = 1.2 になる(=WAL で伝わる)こと。競合が増えていないこと
# CREATE INDEX CONCURRENTLY の間: 1 分おきに replay_delay と CloudWatch の ReplicaLag を記録(本番 db3 / db5 / db6 への影響の見積もり)3-4b. 書き込み負荷(ブルーのスロット遅れを観測できるようにする)
# 実行すると: クローンのブルーに pgbench 用の表(pgbench_*)を作り、弱い書き込みを最大 14 時間流す(-R で毎秒 50 トランザクション)。
# 書き込むのは pgbench_* だけで、クローンの業務テーブルには触れない。BG 作成前に表を作る(BG 作成後の DDL は不可)
PGPASSWORD="$(cat "$PWF")" pgbench -h 127.0.0.1 -p 15460 -U "$DBU" -d "$DBN" -i -s 20
PGPASSWORD="$(cat "$PWF")" nohup pgbench -h 127.0.0.1 -p 15460 -U "$DBU" -d "$DBN" -c 2 -j 1 -R 50 -T 50400 -P 300 > $WORK/pgbench.log 2>&1 &
echo $! > $WORK/pgbench.pid ; ledger proc "$(cat $WORK/pgbench.pid)"4. monitor(BG のあいだ回し続ける)と Case A / Case B
4-0. 記録ループ(別ターミナル・60 秒ごと)
( while true; do
aws rds describe-db-instances --query "DBInstances[?starts_with(DBInstanceIdentifier,'${PFX}')].[DBInstanceIdentifier,EngineVersion,DBInstanceClass,DBInstanceStatus,StorageOperationStatus,StorageOperationPercentProgress,MultiAZ,AvailabilityZone,SecondaryAvailabilityZone]" \
--output text | sed "s/^/$(date -u +%FT%TZ)\t/"
sleep 60; done ) | tee -a $WORK/v9-instances.tsv# イベント(クラス変更・フェイルオーバー・初期化の時刻)は節目ごとに取得して保存
for id in $(aws rds describe-db-instances --query "DBInstances[?starts_with(DBInstanceIdentifier,'${PFX}')].DBInstanceIdentifier" --output text); do
aws rds describe-events --source-type db-instance --source-identifier $id --duration 720 \
--query 'Events[].[Date,SourceIdentifier,Message]' --output text; done | sort | tee -a $WORK/events.tsv4-1. Case A: PG16 + m8g を作成時に同時指定(第一候補)
SRC_ARN=$(aws rds describe-db-instances --db-instance-identifier ${PFX}-db1 --query 'DBInstances[0].DBInstanceArn' --output text)
# 実行すると: Blue/Green を作り、Green を PG16・m8g で用意する(Blue は止まらない。Green は約 50 分で AVAILABLE)
aws rds create-blue-green-deployment --blue-green-deployment-name ${PFX}-a --source "$SRC_ARN" \
--target-engine-version $TGT_VER --target-db-parameter-group-name postgres16-${PFX} \
--target-db-instance-class $TGT_CLASS --tags Key=Issue,Value=$TAG_ISSUE 2>&1 | tee $WORK/case-a-create.txt
BG=$(aws rds describe-blue-green-deployments --query "BlueGreenDeployments[?BlueGreenDeploymentName=='${PFX}-a'].BlueGreenDeploymentIdentifier" --output text)
[ -n "$BG" ] && ledger bg "$BG"
aws rds describe-blue-green-deployments --blue-green-deployment-identifier $BG \
--query 'BlueGreenDeployments[0].{Status:Status,Details:StatusDetails,Tasks:Tasks,Members:SwitchoverDetails}' --output json記録と判定(エラーの原因を断定しない)
| 起きたこと | 記録 | 判断 |
|---|---|---|
| API がその場でエラー | case-a-create.txt の全文 | メッセージが engine version / instance class / parameter group / BG 固有 のどれに触れているかで分類。どれとも言えなければ 「原因未確定」 として Case B へ |
| 受理後に BG が失敗 | Status / StatusDetails / Tasks / 該当インスタンスのイベント | 同上 |
| 成功 | green 各メンバーの EngineVersion / DBInstanceClass(primary だけ m8g か、replica も m8g か) | Case A 成立。§D-5-3 の 1 行目に該当するか V9 で確認 |
- [ ] A-1 API の結果(成功 / エラー全文)
- [ ] A-2 BG の
Status/StatusDetails/Tasks - [ ] A-3 green primary / replica の
EngineVersion・DBInstanceClass - [ ] A-4 green primary の
StorageOperationStatus(Initializingになるか)・StorageOperationPercentProgressの推移・完了までの時間 - [ ] A-5 green replica(t4g の場合)を 5 の手順で m8g へ変更した後、初期化が始まるか
4-2. Case B(Case A が成立しないときだけ)
# Case A の BG が残っていれば、まだ切り替えていないので green ごと削除してよい
# 実行すると: Case A の BG と Green(PG16)を削除する。Blue(rehearsal)は残る
# aws rds delete-blue-green-deployment --blue-green-deployment-identifier <Case A の bgd> --delete-target
# 実行すると: クラス指定なしで Blue/Green を作る(Green は PG16 / t4g)
aws rds create-blue-green-deployment --blue-green-deployment-name ${PFX}-b --source "$SRC_ARN" \
--target-engine-version $TGT_VER --target-db-parameter-group-name postgres16-${PFX} --tags Key=Issue,Value=$TAG_ISSUE
BG=$(aws rds describe-blue-green-deployments --query "BlueGreenDeployments[?BlueGreenDeploymentName=='${PFX}-b'].BlueGreenDeploymentIdentifier" --output text)
ledger bg "$BG"- [ ] B-0 作成直後(t4g)の
StorageOperationStatus(仕様どおりなら始まらない) - [ ] B-1 primary を m8g へ変更した後(5)
- [ ] B-2 replica を m8g へ変更した後(5)
5. modify(Multi-AZ のクラス変更・V9b)
GREEN_DB1=$(aws rds describe-blue-green-deployments --blue-green-deployment-identifier $BG \
--query "BlueGreenDeployments[0].SwitchoverDetails[?contains(SourceMember,':db:${PFX}-db1')].TargetMember" --output text | awk -F: '{print $NF}')
GREEN_DB6=$(aws rds describe-blue-green-deployments --blue-green-deployment-identifier $BG \
--query "BlueGreenDeployments[0].SwitchoverDetails[?contains(SourceMember,':db:${PFX}-db6')].TargetMember" --output text | awk -F: '{print $NF}')
echo "$GREEN_DB1 $GREEN_DB6" ; ledger db "$GREEN_DB1" ; ledger db "$GREEN_DB6"
# 1 台ずつ。変更前の AZ と状態を記録してから実行する
modify_class() { local id=$1; guard $id || return 1
aws rds describe-db-instances --db-instance-identifier $id --query 'DBInstances[0].[DBInstanceClass,AvailabilityZone,SecondaryAvailabilityZone,StorageOperationStatus]' --output text
date -u +%FT%TZ | tee -a $WORK/modify-$id.txt
# 実行すると: green の 1 台を m8g に変える。Multi-AZ なので内部でフェイルオーバー(断 約 40 秒・全体 約 17 分)。Blue には影響しない
aws rds modify-db-instance --db-instance-identifier $id --db-instance-class $TGT_CLASS --apply-immediately
aws rds wait db-instance-available --db-instance-identifier $id ; date -u +%FT%TZ | tee -a $WORK/modify-$id.txt; }
modify_class $GREEN_DB6 # replica(Case A / B 共通)
modify_class $GREEN_DB1 # primary(Case B のときだけ。Case A で既に m8g なら不要)- [ ] 変更開始 /
failover started/failover completed/availableの時刻、AZ が変わったか(events.tsvとv9-instances.tsv) - [ ] 初期化との順序:
storage-initializationが出るのは変更の前・途中・availableの後のどれか(出ないなら「出ない」と記録) - [ ] 初期化が始まった場合は、30 分おきに
StorageOperationPercentProgressを記録し、100% までの時間から本番(同じ 400GiB)の所要を見積もる
V9 の判定(db1 と db6 を別々に) → 本番 §D-5-3 の表のどの行かを決める
| 結果 | read |
|---|---|
| 初期化が始まり、本番日程(10/29 朝に作成 → 同日午後の検証)までに完了する見込み | 原則不要 |
| 始まるが 10/29 の検証までに終わらない見込み | 代表クエリが触る範囲だけに縮小 |
| 始まらない | 必要 |
6. pre-ANALYZE(本番手順 §D-3 と同じ)
# green primary へのトンネル(別ターミナル・ポート 15461)。green replica は 15462
# EPG=$(aws rds describe-db-instances --db-instance-identifier $GREEN_DB1 --query 'DBInstances[0].Endpoint.Address' --output text) …(3-3 と同じ要領)
PSQL_G1() { PSQL_AT 15461 "$@"; } ; PSQL_G6() { PSQL_AT 15462 "$@"; }
# 本番 232GB で約 91 分(§D-3 実測)。スリープ抑止して接続を維持する
caffeinate -i bash -c 'source $HOME/fdm-coldstart/env.sh; PGPASSWORD="$(cat "$PWF")" psql "host=127.0.0.1 port=15461 user='"$DBU"' dbname='"$DBN"' sslmode=require" -c "SET default_transaction_read_only = off; ANALYZE VERBOSE;"' > $WORK/analyze.log 2>&17. warm(比較試験)
共通ルール
- すべて 1 本で行う(2 本は 7-3 の比較だけ)
- 試験の前後で、ブルーのスロット遅れ(
OldestReplicationSlotLag)、green の ReadLatency / ReadIOPS / ReadThroughput / DiskQueueDepth、db6 の ReplicaLag とpg_stat_database_conflictsを記録する - パターンを切り替えるときは green を再起動してキャッシュを空にする(rehearsal の green だけ。Multi-AZ のフェイルオーバーはさせない)bash
# 実行すると: rehearsal の green 1 台の DB エンジンを再起動し、shared_buffers を空にする(Blue と本番には影響しない) guard $GREEN_DB1 && aws rds reboot-db-instance --db-instance-identifier $GREEN_DB1 && aws rds wait db-instance-available --db-instance-identifier $GREEN_DB1
7-1. 代表クエリ(本番の実際の SQL を使う)
取り方: 本番 db1 / db6 の pg_stat_statements から、下の対象の**正規化済み SQL($1 などのまま・値は含まない)**を queryid で取り出し、 クローンで PREPARE → 実在する値で EXECUTE する。値はクローンのデータから選び、記録しない(記録するのは実行時間・hit / read・I/O 時間だけ)。
# 本番からは読むだけ(read-only・正規化済み SQL のみ)。$WORK/queries/<db>-<名前>.sql に保存
# db1: total_time / calls / 1 回あたりの読み込み量の上位から下の対象を選ぶ。db6: online-ops の対象
# 実行時は §D-5-7 と同じ形で取る:
# PREPARE q AS <正規化済み SQL>; EXPLAIN (ANALYZE, BUFFERS, TIMING OFF) EXECUTE q(<クローンから選んだ値>);| 区分 | 名前 | 本番の SQL(pg_stat_statements) | 種類 |
|---|---|---|---|
| db1 | R1 | documents を source_id / source_type / kind で(2,216 回/時・毎回ほぼ全件走査) | 高頻度の全件走査 |
| db1 | R2 | medical_examination_schedules を state / schedule_start_at で(362 回/時・1 回 545MB) | 中規模の全件走査 |
| db1 | R3 | patients を kana_name で(全件走査) | 中規模の全件走査 |
| db1 | R4 | surveys / patient_files / cp_mobakar_nursing_records / work_condition_notices の絞り込み | 小さな表の全件走査 |
| db1 | R5 | 受付検索 SELECT DISTINCT receptions.id …(392 回/時・1 回 1.37GB) | JOIN / DISTINCT |
| db1 | R6 | COUNT(DISTINCT receptions.id)(queryid 5399872337319032263) | JOIN / DISTINCT |
| db1 | R7 | cp_patients を (cp_contract_id, patient_code) で(625 万回) | 索引 lookup |
| db1 | R8 | addresses の郵便番号検索(索引なし=恒久対策の対象。冷えた値を記録するためだけに流す。warm 対象にはしない) | 全件走査 |
| db1 | O1 | online-ops の主系参照: select "me"."id", "me"."online_intention_confirmed" …(差配まわり・13.5 万回・平均 117ms・1 回約 25MB) | JOIN |
| db1 | O2 | online-ops の主系参照: online_examination_queues の jsonb_array_elements_text LATERAL(11.8 万回・平均 21ms) | JOIN |
| db1 | O3 | online-ops の主系参照: work_schedules の索引 lookup(728 万回・平均 0.2ms) | 高頻度の索引 lookup |
| db6 | S1 | Stage A(#21360 の UNION 版。本番にはまだ無いので #21360 の SQL を使う。比較用に現行 OR 版も 1 回だけ) | 索引 lookup |
| db6 | S2 | insurance-route-record(index_images_on_created_at_with_insurance_type を使う計画になっていることも確認) | 部分索引 |
| db6 | S3a / S3b / S3c | 処方箋一覧の 3 本(候補受付 / カルテ詳細 / 薬剤パッケージ) | 索引 lookup |
| db6 | S4a / S4b | 運用画面の検索(select r.id, r.code, p.kana_name …)/ online_examination_queues の参照 | 混在 |
| db6 | S5 | 待ち時間表示の 4 本 | 索引 lookup |
R1〜R8 は SQL の書き方(ActiveRecord)から fastdoctor-manager(Rails)、O1〜O3 と S1〜S5 は online-ops(Kysely の書き方。db6 は接続元からも確定)。
pg_stat_statementsには接続元が残らないので、db1 の帰属は推定。〔2026-10-22 訂正〕旧版は S3 を「待ち時間表示+処方箋一覧」、S4 を「運用画面+待ち行列」としていたが、実施記録(#21471)では S3a〜c=処方箋一覧、S4a / S4b=運用画面 / 待ち行列、S5=待ち時間表示で記録したので、記録の名前に合わせた。注記が表の途中にあって db6 の行が表として表示されなかったのも直した。選んだ基準と結果の値は、本番手順書
fastdoctor-manager.md§D-5-5a
基準値(ブルー): クローンのブルーもスナップショット由来で冷えているので、比較の基準には本番の pg_stat_statements の mean_time を使う。
最初に必ず「冷えた状態の値」を取る(クラス変更と pre-ANALYZE の後・warm の前)。本番も「クラス変更 → pre-ANALYZE → warm」の順なので、これが本番の「warm-up をしなかった場合」の目安になる。 (PG16 へのアップグレード直後は統計が無く実行計画が当てにならないため、ANALYZE の前には測らない。ANALYZE がサンプル行を読む分だけ一部温まるが、本番でも同じ)
7-2. 1 回のサイズ(32 / 64 / 128 / 256MB)とキャンセル
-- 冷えたままのテーブルを使い分ける(同じ範囲を 2 回読むと 2 回目は温まっていて比較にならない)。kartes / patient_receptions は本体 3GB 超
-- 32MB = 4,096 ブロック / 64MB = 8,192 / 128MB = 16,384 / 256MB = 32,768
\timing on
SELECT pg_prewarm('kartes', 'read', 'main', 0, 4095); -- 32MB
SELECT pg_prewarm('kartes', 'read', 'main', 4096, 12287); -- 64MB
SELECT pg_prewarm('kartes', 'read', 'main', 12288, 28671); -- 128MB
SELECT pg_prewarm('kartes', 'read', 'main', 28672, 61439); -- 256MB
-- キャンセルの反応: 別セッションで 256MB を流し、1 秒後に止めて「止まるまでの時間」を測る
-- セッション1: SELECT pg_prewarm('patient_receptions', 'read', 'main', 0, 32767);
-- セッション2: SELECT pg_cancel_backend(pid) FROM pg_stat_activity WHERE query LIKE 'SELECT pg_prewarm%' AND pid <> pg_backend_pid();- [ ] サイズごとの所要時間と、そこから求めた読み込み速度(MB/s)
- [ ] キャンセルから停止までの時間
- [ ] green replica(db6 相当)で同じ試験をしたときの ReplicaLag と
pg_stat_database_conflicts - [ ] 採用基準: db6 で 1 回 2 秒以内・db1 で 5 秒以内に収まる最大のサイズ。そのサイズで本番の対象(db1 約 20GB / db6 数 GB)が 10/29 の検証までに終わるか
7-3. 並列数
- [ ] 2 本同時に流したときの合計速度・ReadLatency・DiskQueueDepth・ブルーのスロット遅れ・db6 の遅延と競合
- [ ] 1 本で本番日程に収まるなら parallel = 1 で確定する(2 本は記録だけ)
7-4. db1 の buffer 量(パターン A / B / C)
本番と同じ m8g.2xlarge・本番のクローンなので、shared_buffers もテーブルの大きさも本番と同じ。GB と構成をそのまま本番に当てはめられる。
| パターン | 載せるもの(優先度の低い順に載せる) | 本番での目安 |
|---|---|---|
| A | 主キー・外部キー索引(receptions / patient_receptions / medical_examinations / medical_examination_schedules / kartes / addresses(source_id) / cp_patients(cp_contract_id))+小さな全件走査表(documents / patient_files / cp_mobakar_nursing_records / work_condition_notices / online_examination_queues / external_karte_addresses / lineworks_talkrooms / surveys)+ medical_examination_schedules + patients | 約 3GB(shared_buffers の約 40%) |
| B | A + receptions 本体 | 約 4.5GB(約 58%) |
| C | B + addresses 本体(郵便番号の索引が間に合わない場合の代替) | 約 6GB(約 78%) |
-- 例: パターン A(再起動直後に)。並び順=実行順(「低 → 高」。最後ほど残りやすい)
SELECT v.ord, v.rel, pg_prewarm(v.rel::regclass, 'buffer') AS blocks
FROM unnest(ARRAY['index_addresses_on_source_id','index_kartes_on_patient_reception_id','index_kartes_on_medical_examination_id','kartes_pkey',
'index_medical_examination_schedules_on_medical_examination_id','index_medical_examinations_on_reception_id','medical_examinations_pkey',
'index_patient_receptions_on_reception_id','index_patient_receptions_on_patient_id','index_cp_patients_on_cp_contract_id','patients_pkey','receptions_pkey',
'medical_examination_schedules','patients','lineworks_talkrooms','surveys','work_condition_notices','online_examination_queues',
'cp_mobakar_nursing_records','patient_files','external_karte_addresses','documents'])
WITH ORDINALITY AS v(rel, ord)
ORDER BY v.ord;
-- ⚠️ 大きなテーブルを 1 文で載せると長い文になる。db6(replica)では 7-2 で決めたサイズに分割して載せる
-- 常駐量(relation ごと)
SELECT c.relname, pg_size_pretty(count(*) * 8192) AS resident FROM pg_buffercache b JOIN pg_class c ON b.relfilenode = pg_relation_filenode(c.oid)
WHERE b.reldatabase = (SELECT oid FROM pg_database WHERE datname = current_database()) GROUP BY 1 ORDER BY count(*) DESC LIMIT 25;- [ ] 各パターンで: 載せた直後の常駐量、R1〜R7 の結果(2 回目の実行時間・hit / read)、R1〜R7 の後の常駐量(追い出されたもの)、FreeableMemory、ReadLatency、Performance Insights の DataFileRead
- [ ] 同じパターンで、順番を逆(高 → 低)にした場合の常駐量を 1 回だけ比べる
- [ ] 採用: §D-5-7 の GO 条件(cold との相対で評価)を満たす最小のパターン
7-5. db6 の buffer の最小構成
| 構成 | 載せるもの |
|---|---|
| A | S1〜S3 が使う索引だけ(receptions_pkey / index_receptions_on_user_id / index_patients_on_user_patient_id / index_patient_receptions_on_patient_id / index_images_on_created_at_with_insurance_type / index_kartes_on_medical_examination_id / index_kartes_on_patient_reception_id / index_medical_examinations_on_reception_id / index_medical_examination_schedules_on_medical_examination_id / index_pharmacy_destinations_on_karte_id / index_outside_prescription_drug_packages_on_karte_id / patients_pkey / kartes_pkey) |
| B | A + patients 本体 |
| C | B + online_examination_queues 本体 |
index_receptions_on_business_dateは載せない(旧 Stage A 用)- [ ] 各構成で S1〜S4 の結果と ReplicaLag・競合。S1〜S4 が GO を満たす最小の構成を採用
8. switchover(V10)
-- 切り替えの直前に green primary / green replica の両方で記録
SELECT now(), pg_postmaster_start_time();
SELECT c.relname, pg_size_pretty(count(*) * 8192) FROM pg_buffercache b JOIN pg_class c ON b.relfilenode = pg_relation_filenode(c.oid)
WHERE b.reldatabase = (SELECT oid FROM pg_database WHERE datname = current_database()) GROUP BY 1 ORDER BY count(*) DESC LIMIT 25;
-- R1〜R7(db1)/ S1〜S4(db6)を 1 回ずつ# 実行すると: rehearsal の Blue/Green を切り替える。Green が ${PFX}-db1 / ${PFX}-db6 の名前を持ち、Blue は -old1 になる(約 1〜2 分)
guard ${PFX}-db1 && aws rds switchover-blue-green-deployment --blue-green-deployment-identifier $BG --switchover-timeout 300
aws rds describe-blue-green-deployments --blue-green-deployment-identifier $BG --query 'BlueGreenDeployments[0].Status' --output text # SWITCHOVER_COMPLETED まで
ledger note switched-over- 切り替え後はエンドポイント名が変わるので、トンネルを張り直す(
${PFX}-db1/${PFX}-db6が新しい本番側) - [ ]
pg_postmaster_start_time()が変わったか(変わった=再起動あり) - [ ] relation ごとの常駐量が維持されたか
- [ ] 切り替え直後の R1〜R7 / S1〜S4 の実行時間
- [ ] 判定: 常駐が残る → 本番 §D-5-4 手順 8(業務再開前の再実行)は「推奨(保険)」。消える → 「必須」で、T-90 の
bufferは切り替え後にも行う
9. verify(本番手順書への反映)
- [ ] 結果を mental-online-karte#21466 の「rehearsal 結果」欄に記入(db1 / db6 の
read、buffer、chunk、parallel、V10) - [ ]
fastdoctor-manager.md§D-5-3〜§D-5-7 の値を確定値に置き換える(PR) - [ ] Case A が成立した場合: §D-2 に
--target-db-instance-class、§C-a-8 から db1 の modify を外す(レプリカは modify が残る)
10. cleanup(必ず実施・台帳から逆引き)
cat $LEDGER # 作ったもの一覧を確認してから進める
[ -f $WORK/pgbench.pid ] && kill "$(cat $WORK/pgbench.pid)" 2>/dev/null # 書き込み負荷を止める
SWITCHED=$(grep -c 'switched-over' $LEDGER)
for bg in $(awk -F'\t' '$2=="bg"{print $3}' $LEDGER); do
st=$(aws rds describe-blue-green-deployments --blue-green-deployment-identifier $bg --query 'BlueGreenDeployments[0].Status' --output text 2>/dev/null) || continue
if [ "$st" = "SWITCHOVER_COMPLETED" ]; then
# 🛑 切り替え済みでは --delete-target を付けない(付けると新しい primary を消す。#20479 の事故未遂)
# 実行すると: BG の管理情報だけを消す。インスタンスは残る(下で個別に消す)
aws rds delete-blue-green-deployment --blue-green-deployment-identifier $bg
else
# 実行すると: 切り替え前の BG と、その Green インスタンスを削除する
aws rds delete-blue-green-deployment --blue-green-deployment-identifier $bg --delete-target
fi
done
# インスタンス: 名前が ${PFX} で始まり、タグ Issue=$TAG_ISSUE のものだけを、replica → primary の順に消す
del_db() { local id=$1; guard $id || return 1
tag=$(aws rds list-tags-for-resource --resource-name $(aws rds describe-db-instances --db-instance-identifier $id --query 'DBInstances[0].DBInstanceArn' --output text) \
--query "TagList[?Key=='Issue'].Value" --output text)
[ "$tag" = "$TAG_ISSUE" ] || { echo "🛑 タグ不一致 $id"; return 1; }
# 実行すると: rehearsal のインスタンスを最終スナップショットなし・自動バックアップごと削除する(元に戻せない)
aws rds delete-db-instance --db-instance-identifier $id --skip-final-snapshot --delete-automated-backups; }
for id in $(aws rds describe-db-instances --query "DBInstances[?starts_with(DBInstanceIdentifier,'${PFX}') && ReadReplicaSourceDBInstanceIdentifier!=null].DBInstanceIdentifier" --output text); do del_db $id; done
for id in $(aws rds describe-db-instances --query "DBInstances[?starts_with(DBInstanceIdentifier,'${PFX}') && ReadReplicaSourceDBInstanceIdentifier!=null].DBInstanceIdentifier" --output text); do aws rds wait db-instance-deleted --db-instance-identifier $id; done
for id in $(aws rds describe-db-instances --query "DBInstances[?starts_with(DBInstanceIdentifier,'${PFX}')].DBInstanceIdentifier" --output text); do del_db $id; done
for id in $(aws rds describe-db-instances --query "DBInstances[?starts_with(DBInstanceIdentifier,'${PFX}')].DBInstanceIdentifier" --output text); do aws rds wait db-instance-deleted --db-instance-identifier $id; done
# パラメータグループと SG(台帳から)
for pg in $(awk -F'\t' '$2=="cpg"{print $3}' $LEDGER); do guard $pg && aws rds delete-db-parameter-group --db-parameter-group-name $pg; done
for sg in $(awk -F'\t' '$2=="sg"{print $3}' $LEDGER); do
n=$(aws ec2 describe-security-groups --group-ids $sg --query 'SecurityGroups[0].GroupName' --output text); guard $n && aws ec2 delete-security-group --group-id $sg; done
rm -f "$PWF"
# 残骸が無いこと(すべて空)
aws rds describe-db-instances --query "DBInstances[?starts_with(DBInstanceIdentifier,'${PFX}')].DBInstanceIdentifier" --output text
aws rds describe-blue-green-deployments --query "BlueGreenDeployments[?starts_with(BlueGreenDeploymentName,'${PFX}')].BlueGreenDeploymentIdentifier" --output text
aws rds describe-db-parameter-groups --query "DBParameterGroups[?contains(DBParameterGroupName,'${PFX}')].DBParameterGroupName" --output text
aws rds describe-db-instance-automated-backups --query "DBInstanceAutomatedBackups[?starts_with(DBInstanceIdentifier,'${PFX}')].DBInstanceIdentifier" --output text
aws ec2 describe-security-groups --filters Name=group-name,Values=${PFX}-db-sg --query 'SecurityGroups[].GroupId' --output text- [ ] 上の 5 つがすべて空
- [ ] 本番の
fastdoctor-manager-*の状態がリハーサル前と同じ(describe-db-instancesで class / status を比較)
11. 中止の条件(abort)
| 条件 | 対応 |
|---|---|
コマンドの対象に fastdoctor-manager を含む名前が出た | 即中止して確認(guard が止めるはずだが、止めなかった場合は手順を直す) |
| 稼働が 24 時間を超えた、または 10/24 中に完了の見込みが立たない | 取れた結果で判断し、cleanup |
| Case A も Case B も BG 作成に失敗 | エラーを記録して cleanup。本番 §D-2 の前提を見直す |
| クローンの復元・レプリカ作成が 3 時間を超える | 状況を記録して判断(スナップショット由来の lazy loading で遅い可能性) |
| 本番 DB の指標に変化が出た(理論上無いはず) | 即中止して原因確認 |