待办:初始数据下载完成后执行 PG 整库迁移(机械盘→SSD) #11

Open
opened 2026-08-03 11:36:52 +08:00 by shellway · 0 comments
Owner

任务:PostgreSQL 整库迁移(机械盘 → SSD)

背景

  • 量化平台数据库(历史行情 + 财务数据)目前位于机械盘上的 PostgreSQL
  • 黑群晖将加装 NVMe SSD(512GB/1TB)建独立存储池
  • 目的:提升看盘/策略数据读写速度 + 保护机械盘寿命

触发条件

  • 初始数据下载(进行中,完成后可执行)
  • SSD 已加装并建好存储池(Btrfs 卷)
  • 确认数据库部署方式(Docker / 套件)

迁移方案(核心)

完整方案见工作区文档 量化数据库整库迁移方案.md

  1. 双备份:pg_dump 逻辑备份 + 数据目录物理备份 → 机械盘 backup
  2. 短停机:休市日执行,窗口约 30 分钟
  3. 物理拷贝:停库后 rsync 数据目录到 SSD 池
  4. 切换启动:Docker 改卷映射 / 套件改 data_directory
  5. 双验证:行数对比 + 常用看盘查询抽测
  6. 留退路:旧数据目录保留 30 天,稳定后再清理

迁移后必做

  • postgresql.conf 调优:random_page_cost=1.1effective_io_concurrency=200shared_buffers
  • 开启 WAL 归档 + 每日自动 dump 到机械盘 + Btrfs 快照
  • 自动备份任务跑通验证

状态

  • 待办(等待初始数据下载完成)
## 任务:PostgreSQL 整库迁移(机械盘 → SSD) ### 背景 - 量化平台数据库(历史行情 + 财务数据)目前位于机械盘上的 PostgreSQL - 黑群晖将加装 NVMe SSD(512GB/1TB)建独立存储池 - 目的:提升看盘/策略数据读写速度 + 保护机械盘寿命 ### 触发条件 - [x] 初始数据下载(进行中,完成后可执行) - [ ] SSD 已加装并建好存储池(Btrfs 卷) - [ ] 确认数据库部署方式(Docker / 套件) ### 迁移方案(核心) 完整方案见工作区文档 `量化数据库整库迁移方案.md`: 1. **双备份**:pg_dump 逻辑备份 + 数据目录物理备份 → 机械盘 backup 2. **短停机**:休市日执行,窗口约 30 分钟 3. **物理拷贝**:停库后 rsync 数据目录到 SSD 池 4. **切换启动**:Docker 改卷映射 / 套件改 data_directory 5. **双验证**:行数对比 + 常用看盘查询抽测 6. **留退路**:旧数据目录保留 30 天,稳定后再清理 ### 迁移后必做 - [ ] postgresql.conf 调优:`random_page_cost=1.1`、`effective_io_concurrency=200`、`shared_buffers` 等 - [ ] 开启 WAL 归档 + 每日自动 dump 到机械盘 + Btrfs 快照 - [ ] 自动备份任务跑通验证 ### 状态 - [ ] 待办(等待初始数据下载完成)
Sign in to join this conversation.
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: shellway/quanxiel#11