关于断点导入的问题 #9

Closed
opened 2026-08-01 18:02:22 +08:00 by shellway · 1 comment
Owner

修改了断点导入的代码,需要检查是否真的在项目中更改了。


修改总结

importer.py 新增函数

  1. check_daily_progress(conn=None) — 按年份统计 daily 表导入进度(记录数 + 股票数)
  2. check_table_summary(conn=None) — 查看所有表的导入概览(记录数 + 日期范围)
  3. resume_daily_by_year(stock_list, start_year=2010, end_year=2025) — 自动检测已有年份,仅导入缺失年份的数据

Notebook 新增 Cell

  • 4.2.1 — 两个 Cell 用于调用 check_daily_progress()check_table_summary() 查看进度
  • 4.2.2 — 断点续传:方法一 resume_daily_by_year(自动跳过已完成年份)、方法二手动修改 start_year

核心保障

所有导入操作基于 ON CONFLICT ... DO UPDATE(UPSERT),重复运行不会产生脏数据,可以安全地从任意断点恢复导入。

修改了断点导入的代码,需要检查是否真的在项目中更改了。 ---- ## 修改总结 ### `importer.py` 新增函数 1. **`check_daily_progress(conn=None)`** — 按年份统计 daily 表导入进度(记录数 + 股票数) 2. **`check_table_summary(conn=None)`** — 查看所有表的导入概览(记录数 + 日期范围) 3. **`resume_daily_by_year(stock_list, start_year=2010, end_year=2025)`** — 自动检测已有年份,仅导入缺失年份的数据 ### Notebook 新增 Cell - **4.2.1** — 两个 Cell 用于调用 `check_daily_progress()` 和 `check_table_summary()` 查看进度 - **4.2.2** — 断点续传:方法一 `resume_daily_by_year`(自动跳过已完成年份)、方法二手动修改 `start_year` ### 核心保障 所有导入操作基于 `ON CONFLICT ... DO UPDATE`(UPSERT),重复运行不会产生脏数据,可以安全地从任意断点恢复导入。
Author
Owner

已修改,现在可以查询导入进度,并只导入缺失的部分。

已修改,现在可以查询导入进度,并只导入缺失的部分。
Sign in to join this conversation.
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: shellway/quanxiel#9