PG16 アップグレード 実行固有値・実施記録:online-karte-service
手順本体は Cloneリハーサル版 / 本番実施版 / staging-direct版 を参照。 preflight(環境・接続・クラスタ構成・CPG・拡張・preflight 実測・Datastream 対応・RI 確認)は ./online-karte-service/preflight.md が SSOT。本書は BG 実行時の固有値・整合確認・TF・実施記録のみ扱う。 ⚠️ 方針(2026-09-17 更新): Blue/Green 採用(#15755)。GCP Datastream は継続利用(2026-09-14 時点の「廃止」から方針変更)。→ BG 前に slot/publication を drop し、Switchover 後に再作成して再開+CDC gap 補完が必要(preflight.md §6)。RI は staging/本番とも適用済み。
対象サービス: online-karte-service(Aurora PostgreSQL 13.23 → 16.13) 担当: SRE(yusaku.ishizawa) / Datastream 停止・再開の実施オーナー: <確認: GCP コンソール操作の担当>最終更新: 2026-09-17(Datastream 継続へ方針変更/本番 clone での BG 実測を反映)
1. 実行に必要な固有値(要点・詳細は preflight.md)
| 項目 | staging | production |
|---|---|---|
クラスタ(SOURCE_CL) | online-karte-service(Writer1台) | online-karte-service(Writer1+Reader2) |
| CPG(source PG13 / target PG16) | online-karte-service / online-karte-service-pg16 | online-karte-service / ⛔ PG16 は未作成(要 Terraform 作成・preflight.md §3) |
| bastion | i-0ddd2353e102d9006 | i-0f44005c3f7259513 |
| Datastream slot / publication(drop → 切替後に再作成) | datastream_replication_slots / datastream | 同名 |
⚠️ 本番はフェーズB 再起動を Reader→Writer 順(
-0→-1→Writer-2)。 ⚠️ BG 作成前に Datastream 停止 → slot/publication を drop。Switchover 後に同名で再作成 → ストリーム再開 → CDC gap 補完まで必要(継続利用のため)。詳細 preflight.md §6。 ⛔ BG 同期中は Blue に一切の DDL を流さない。違反するとSwitchover ... was cancelled because there are DDL or Large Object changesで Switchover が恒久的に不能になり BG 作り直しが必要(本番 clone で実測・mental-online-karte#19117)。書込プローブは表を作らずSELECT txid_current()を使う。 ⛔ publication は BG をまたいで残らない(切替直後pg_publicationが 0 rows・実測)。CREATE PUBLICATION datastream FOR ALL TABLESを当日手順に必ず入れる。
2. Blue/Green 名・スナップショット名
| 項目 | 値 |
|---|---|
| Blue/Green 名(本番) | <cluster-id>-bg |
| Switchover 前スナップショット | <cluster-id>-pre-pg16-<YYYYMMDDHHMM> |
2-b. ★所要時間の実測(本番 clone・2026-09-15・mental-online-karte#19117)
| 区間 | 実測 | 備考 |
|---|---|---|
| BG 作成(開始→AVAILABLE) | 40分30秒 / 39分28秒(2回) | Blue 無停止=メンテ枠外に出せる。内訳: RR作成 19分33秒/18分10秒・PG16化 15分11秒/14分43秒・reader2台追加 約5分30秒/約6分 |
| Green offline | 691秒(11分31秒) | Green 側のみ |
| Switchover 書き込み断 | 約3秒 | AWS 公式イベント値と psql プローブが一致(sequence 58本・sync 0.6秒) |
| Switchover 全体 | 約1分8秒 | |
| Green ANALYZE(135テーブル) | 29〜30秒 | Switchover 前に必須 |
| slot/publication 再作成 | 0.07秒 | publication 19.6ms+slot 47.3ms |
| BG 削除 / クラスタ削除 | 各 約11分 | 事後作業 |
→ メンテ枠は 15〜20分・実ユーザー影響は書き込み断 約3秒(BG 作成 約40分は枠外)。手順は online-karte-service/clone-bg-timing.md(terraform_for_aws#2802 で追加中。マージ後にリンク化する)。
3. 整合確認テーブル(Green/Switchover 後の件数確認)
-- online-karte-service 固有の主要テーブルを列挙(要確認)
SELECT COUNT(*) FROM <table_a>;
SELECT COUNT(*) FROM <table_b>;4. Terraform 整合対象(Switchover 後)
rds_engine_versionを13.x→16.13、parameter group family をaurora-postgresql16(online-karte-service-pg16参照)へ。terraform planに downgrade / replace(ForceNew)が出ないことを確認してから apply。
5. 実施記録
| 日付 | 環境 | フェーズ | 結果・所要・気付き |
|---|---|---|---|
| 2026-06 | staging(clone) | リハーサル | Clone から BG 作成。外部 Datastream slot/publication があり BG 作成が失敗 → slot/publication を drop して成功(#13732)。Green 作成 約31分。 |
| 2026-09-14 | - | 方針変更 | 手法=Blue/Green(RI付与)確定(#15755)/当時は「Datastream ごと廃止でOK」(下流不要)と判断。 |
| 2026-09-14 | staging | preflight | read-only 実走。PASS=25/WARN=1/FAIL=2(既知=PKなし2+Datastream)。固有値確定・RI 適用済み確認(→ preflight.md)。 |
| 2026-09-14 | production | preflight | --allow-production・read-only 実走。PASS=25/WARN=3/FAIL=2。3台構成(Writer1+Reader2)・RI 両テーブル適用済み・slot/publication 名 staging と同一(→ preflight.md)。 |
| 2026-09-15 | production(clone) | BG 所要計測 | 本番 clone で BG 完走。BG 作成 約40分・Switchover 書込断 約3秒・ANALYZE 約30秒。★本番に PG16 CPG が無いことが判明(使い捨て PG で代替)。★Blue への DDL で Switchover 恒久不能→BG 作り直し。★publication は BG をまたいで残らない。→ #19117 / terraform_for_aws#2802 |
| 2026-09-17 | - | 方針再変更 | Datastream は廃止せず継続。→ 切替後の slot/publication 再作成・ストリーム再開・CDC gap 補完が必要に。あわせて CDC/backfill 実現性を実測(merge モード・maxConcurrentBackfillTasks=1・過去 backfill 実績・DELETE 9テーブル・mastra CDC 停止)→ preflight.md §6 |
<YYYY-MM-DD> | staging | staging-direct | <slot/publication drop → BG → Switchover → 再作成・再開 → app 疎通の結果を記録> |
<YYYY-MM-DD> | production | 本番 | <メンテ枠 / snapshot 名 / Datastream 再開・gap 補完の完了> |
6. 関連 Issue / PR
- 親トラッキング: mental-online-karte #12736 / 本番: #16249 / staging BG リハ: #14666
- 手順書整備(本書+preflight.md): mental-online-karte #19038
- 手法選定(BG採用): #15755 / 下流の扱い: #15448・#14666(2026-09-14 は「廃止」/2026-09-17 に「継続」へ再変更)
- 本番 clone BG 所要計測: #19117 / 手順書 terraform_for_aws#2802
- RI 付与方針: #14532 / #15995 / app 側調査: #16216
- 棚卸し: #13044 / クローン→BG 検証(drop で成功): #13732 / PG16 CPG: #13923・terraform_for_aws #2217
- preflight 詳細(SSOT): ./online-karte-service/preflight.md