修改了断点导入的代码,需要检查是否真的在项目中更改了。
importer.py
check_daily_progress(conn=None)
check_table_summary(conn=None)
resume_daily_by_year(stock_list, start_year=2010, end_year=2025)
check_daily_progress()
check_table_summary()
resume_daily_by_year
start_year
所有导入操作基于 ON CONFLICT ... DO UPDATE(UPSERT),重复运行不会产生脏数据,可以安全地从任意断点恢复导入。
ON CONFLICT ... DO UPDATE
已修改,现在可以查询导入进度,并只导入缺失的部分。
No dependencies set.
The note is not visible to the blocked user.
修改了断点导入的代码,需要检查是否真的在项目中更改了。
修改总结
importer.py新增函数check_daily_progress(conn=None)— 按年份统计 daily 表导入进度(记录数 + 股票数)check_table_summary(conn=None)— 查看所有表的导入概览(记录数 + 日期范围)resume_daily_by_year(stock_list, start_year=2010, end_year=2025)— 自动检测已有年份,仅导入缺失年份的数据Notebook 新增 Cell
check_daily_progress()和check_table_summary()查看进度resume_daily_by_year(自动跳过已完成年份)、方法二手动修改start_year核心保障
所有导入操作基于
ON CONFLICT ... DO UPDATE(UPSERT),重复运行不会产生脏数据,可以安全地从任意断点恢复导入。已修改,现在可以查询导入进度,并只导入缺失的部分。