数据备份转存


公司业务需要做数据库转存备份,整理一下自己的思路:

需求描述: 数百台物联网监测设备分钟数据每日产生10w级别原始数据(6w-12w,使用原始数据计算出小时数据、日数据后基本无用),经过一段时间运行之后数据库数据太多,影响正常操作性能。需要备份转移到备份库中。 备份方案: 1、使用计划任务,每晚凌晨执行 2、保留手动调用接口 3、执行方式,按日期循环,每次查询一日数据到内存中,再删除原库当日数据。在备份库删除当日数据(预防性清空),再插入内存的一日数据。 4、完成。备份速度约80w/小时(存在其他任务并行操作mysql)