仿制别人的竞价网站做竞价犯法吗,wordpress添加版块,网站开发详细设计文档模板,具体阐述对网站如何加强建设1、数据迁移分类#xff1a;
平迁#xff1a;不需要调整表结构的数据迁移#xff0c;即为了性能扩展需要从一台服务器迁移到另外一台服务器上#xff0c;用数据库的导出导入或备份恢复工具处理即可#xff0c;当然也要考虑迁移后的一些序列字段的初始值。拆表迁移#x…1、数据迁移分类
平迁不需要调整表结构的数据迁移即为了性能扩展需要从一台服务器迁移到另外一台服务器上用数据库的导出导入或备份恢复工具处理即可当然也要考虑迁移后的一些序列字段的初始值。拆表迁移数据迁移的过程中发生了拆表行为 垂直拆表例如1、增加附件管理以统一管理文件、图片、音频和视频的url地址等信息导致的拆表行为水平拆表单表数据量达到千万级别时为了提高查询效率而将数据以一定的规律分散不同的表存储合表迁移数据迁移的过程中发生了合表行为将不同维度的描述信息表统一为标签表增表迁移数据迁移的过程中发生了新增表行为为满足业务需求而增加的业务表字段转换数据迁移的过程中发生了新增字段是由老字段转换过来的行为外键由id改为name新增字段默认值或值的填写规则库表模型重构表结构及表关系发生变化即由以上多种类型的数据迁移混合而成。 了解新老系统各自数据库的表间关系了解新老系统旧表和新表的对应关系了解新老系统的字段含义了解新老系统的旧字段和新字段的对应关系异构数据迁移即从一个数据库平台迁移到另外一个数据库平台用ETL工具或SQL均可实现不过要注意业务逻辑的迁移即存储过程、函数、触发器之类的
2、系统分析提高数据迁移的准确性和完整性有利于分清主次数据核心数据和非核心数据一般越基础的数据越核心有助于了解用户对历史数据的需求避免盲目地全部性的迁移有助于确定工作量和工作进度。
旧系统理清功能模块业务处理流程新系统理清功能模块业务处理流程
3、旧系统数据的处理规则
基础数据通常这一类不会发生结构性变化容易迁移但是会影响所有的相关业务数据关注点为数据的主键和唯一键的方式。业务数据 库表结构未变化这一类数据处理起来会比较容易一次性导入即可后续采用增量数据导入。流程性这一类数据只有在记录完全关闭后才能结束需要进行增量导入和数据更新同时还要进行相关查询界面的开发以保证旧有数据能够在新系统中查询的到。库表结构重构这一类数据的工作量是最重的就需要仔细去研究新老业务系统的数据结构了。 尽量通过甲方单位来收集齐全相关原系统的相关设计文档这一点对数据分析很有帮助通过人的感觉和对数据的观察来分析毕竟不太靠谱。在原系统上进行相关数据的观察了解数据的变化和数据表数据的关系对于比较难以理解的相关字段很有帮助比较新老系统数据的差异如果实在很不靠谱的话建议按流程数据去处理。
4、技术数据迁移分为两个过程导入和导出平迁数据量少的话选择navicat等客户端的导入导出方式数据量多话选择mysql自带sql语句导入/导出异构数据迁移选择ETL工具kittle等库表模型重构使用开发语言sql控制
导出 导出对于字段较少/字段内容较少的数据通过客户端方式可以采用navicat等工具导出我这里本次导出三个字段都是11位数字以内的值用navicat导出每分钟大约250万数据MySQL自带的导出语句select into outfile语句用MySQL自带导出/导入优点是速度极快缺点是只能导出文件是在服务器主机所在的本机地址对于bi之类拿到不数据库主机权限的同事这个方式可能奢望了。不过好在对于字段/内容较少的报表第三方客户端工具导出速度也不算特别慢导入 重点记录导入导入主要是dba做数据迁移了方式也分客户端和MySQL自带方式这里极度推荐用MySQL导入方式load data infile语句原因是我之前要迁移1.3亿数据用navicat客户端导入数据要22小时耗时太长且不确定太多本身navicat等工具就会有假死风险的存在所不建议超过1万以上的数据通过navicat导入提高效率的方法 去除索引更改引擎不同引擎load机制不一样myisam更快使用myisam可以调整session的参数扩大读取内存导入前可以关闭唯一校验导入后再打开。使用服务器本地读取查看服务器上mysql对cpu的占用率
5、注意事项
先迁移基础数据表再迁移业务表及业务关系表不管哪种类型迁移都要关注字段的类型、大小、是否非空和默认值规则对业务数据的分析最为关键需要不断的尝试在新系统上不断的测试
6、参考文档
https://blog.csdn.net/qq_21108311/article/details/82559119 mysql亿级数据导入导出
https://blog.csdn.net/qq_26334813/article/details/80503973 大批量数据如何快速的数据迁移
https://www.cnblogs.com/wayne-ivan/p/3821649.html 关于数据迁移的方法、步骤和心得
https://www.jianshu.com/p/9f6253e6fcc3?fromtimeline
7、附加我的数据迁移计划流程及技术
根据数据迁移类型确定迁移计划理解业务逻辑保证业务的完整性和一致性确定迁移范围涉及的表、字段以及记录的数据量确定表及字段的对应关系技术选型原始数据的保存确定迁移流程新老数据对比数据量的一致性测试
