在数据同步过程中,需要对数据源进行一些分析。分析的过程中,要考虑数据的种类,要进行的处理,以及数据的时效性。
数据的种类
对于来的数据,可以分为以下几类:
insert
update
delete
针对这三种的组合有两种:
只有insert的
insert/update/delete并存的
对数据的处理
对于要进入的目的库来说,有一下处理类型:
不处理针对单表进行处理,比如数据类型转换,数据校验等需要关联小表进行处理,比如码表转换需要关联打标进行处理
时效的要求
抽取数据、处理数据 、导入数据都需要时间,在满足不同的时效,应该如何处理
相关资源:BOSS3.0规范-数据一致性管理机制总体规范分册