Skip to content

PG16 アップグレード 実行固有値・実施記録:online-karte-service ​

手順本体は Cloneリハーサル版 / 本番実施版 / staging-direct版 を参照。 preflight(環境・接続・クラスタ構成・CPG・拡張・preflight 実測・Datastream 対応・RI 確認)は ./online-karte-service/preflight.md が SSOT。本書は BG 実行時の固有値・整合確認・TF・実施記録のみ扱う。 ⚠️ 方針(2026-09-17 更新): Blue/Green 採用(#15755)。GCP Datastream は継続利用(2026-09-14 時点の「廃止」から方針変更)。→ BG 前に slot/publication を drop し、Switchover 後に再作成して再開+CDC gap 補完が必要(preflight.md §6)。RI は staging/本番とも適用済み。

対象サービス: online-karte-service(Aurora PostgreSQL 13.23 → 16.13) 担当: SRE(yusaku.ishizawa) / Datastream 停止・再開の実施オーナー: <確認: GCP コンソール操作の担当>最終更新: 2026-09-17(Datastream 継続へ方針変更/本番 clone での BG 実測を反映)

1. 実行に必要な固有値(要点・詳細は preflight.md) ​

項目stagingproduction
クラスタ(SOURCE_CL)online-karte-service(Writer1台)online-karte-service(Writer1+Reader2)
CPG(source PG13 / target PG16)online-karte-service / online-karte-service-pg16online-karte-service / ⛔ PG16 は未作成(要 Terraform 作成・preflight.md §3)
bastioni-0ddd2353e102d9006i-0f44005c3f7259513
Datastream slot / publication(drop → 切替後に再作成)datastream_replication_slots / datastream同名

⚠️ 本番はフェーズB 再起動を Reader→Writer 順(-0→-1→Writer -2)。 ⚠️ BG 作成前に Datastream 停止 → slot/publication を drop。Switchover 後に同名で再作成 → ストリーム再開 → CDC gap 補完まで必要(継続利用のため)。詳細 preflight.md §6。 ⛔ BG 同期中は Blue に一切の DDL を流さない。違反すると Switchover ... was cancelled because there are DDL or Large Object changes で Switchover が恒久的に不能になり BG 作り直しが必要(本番 clone で実測・mental-online-karte#19117)。書込プローブは表を作らず SELECT txid_current() を使う。 ⛔ publication は BG をまたいで残らない(切替直後 pg_publication が 0 rows・実測)。CREATE PUBLICATION datastream FOR ALL TABLES を当日手順に必ず入れる。

2. Blue/Green 名・スナップショット名 ​

項目値
Blue/Green 名(本番)<cluster-id>-bg
Switchover 前スナップショット<cluster-id>-pre-pg16-<YYYYMMDDHHMM>

2-b. ★所要時間の実測(本番 clone・2026-09-15・mental-online-karte#19117) ​

区間実測備考
BG 作成(開始→AVAILABLE)40分30秒 / 39分28秒(2回)Blue 無停止=メンテ枠外に出せる。内訳: RR作成 19分33秒/18分10秒・PG16化 15分11秒/14分43秒・reader2台追加 約5分30秒/約6分
Green offline691秒(11分31秒)Green 側のみ
Switchover 書き込み断約3秒AWS 公式イベント値と psql プローブが一致(sequence 58本・sync 0.6秒)
Switchover 全体約1分8秒
Green ANALYZE(135テーブル)29〜30秒Switchover 前に必須
slot/publication 再作成0.07秒publication 19.6ms+slot 47.3ms
BG 削除 / クラスタ削除各 約11分事後作業

→ メンテ枠は 15〜20分・実ユーザー影響は書き込み断 約3秒(BG 作成 約40分は枠外)。手順は online-karte-service/clone-bg-timing.md(terraform_for_aws#2802 で追加中。マージ後にリンク化する)。

3. 整合確認テーブル(Green/Switchover 後の件数確認) ​

sql
-- online-karte-service 固有の主要テーブルを列挙(要確認)
SELECT COUNT(*) FROM <table_a>;
SELECT COUNT(*) FROM <table_b>;

4. Terraform 整合対象(Switchover 後) ​

  • rds_engine_version を 13.x → 16.13、parameter group family を aurora-postgresql16(online-karte-service-pg16 参照)へ。
  • terraform plan に downgrade / replace(ForceNew)が出ないことを確認してから apply。

5. 実施記録 ​

日付環境フェーズ結果・所要・気付き
2026-06staging(clone)リハーサルClone から BG 作成。外部 Datastream slot/publication があり BG 作成が失敗 → slot/publication を drop して成功(#13732)。Green 作成 約31分。
2026-09-14-方針変更手法=Blue/Green(RI付与)確定(#15755)/当時は「Datastream ごと廃止でOK」(下流不要)と判断。
2026-09-14stagingpreflightread-only 実走。PASS=25/WARN=1/FAIL=2(既知=PKなし2+Datastream)。固有値確定・RI 適用済み確認(→ preflight.md)。
2026-09-14productionpreflight--allow-production・read-only 実走。PASS=25/WARN=3/FAIL=2。3台構成(Writer1+Reader2)・RI 両テーブル適用済み・slot/publication 名 staging と同一(→ preflight.md)。
2026-09-15production(clone)BG 所要計測本番 clone で BG 完走。BG 作成 約40分・Switchover 書込断 約3秒・ANALYZE 約30秒。★本番に PG16 CPG が無いことが判明(使い捨て PG で代替)。★Blue への DDL で Switchover 恒久不能→BG 作り直し。★publication は BG をまたいで残らない。→ #19117 / terraform_for_aws#2802
2026-09-17-方針再変更Datastream は廃止せず継続。→ 切替後の slot/publication 再作成・ストリーム再開・CDC gap 補完が必要に。あわせて CDC/backfill 実現性を実測(merge モード・maxConcurrentBackfillTasks=1・過去 backfill 実績・DELETE 9テーブル・mastra CDC 停止)→ preflight.md §6
<YYYY-MM-DD>stagingstaging-direct<slot/publication drop → BG → Switchover → 再作成・再開 → app 疎通の結果を記録>
<YYYY-MM-DD>production本番<メンテ枠 / snapshot 名 / Datastream 再開・gap 補完の完了>

6. 関連 Issue / PR ​

  • 親トラッキング: mental-online-karte #12736 / 本番: #16249 / staging BG リハ: #14666
  • 手順書整備(本書+preflight.md): mental-online-karte #19038
  • 手法選定(BG採用): #15755 / 下流の扱い: #15448・#14666(2026-09-14 は「廃止」/2026-09-17 に「継続」へ再変更)
  • 本番 clone BG 所要計測: #19117 / 手順書 terraform_for_aws#2802
  • RI 付与方針: #14532 / #15995 / app 側調査: #16216
  • 棚卸し: #13044 / クローン→BG 検証(drop で成功): #13732 / PG16 CPG: #13923・terraform_for_aws #2217
  • preflight 詳細(SSOT): ./online-karte-service/preflight.md