在数据同步过程中,需要对数据源进行一些分析。分析的过程中,要考虑数据的种类,要进行的处理,以及数据的时效性。
 
 数据的种类
 
 对于来的数据,可以分为以下几类:
 
 
 insert
update
delete 
 针对这三种的组合有两种:
 只有insert的
insert/update/delete并存的 
 
 
对数据的处理
 对于要进入的目的库来说,有一下处理类型:
 
 不处理针对单表进行处理,比如数据类型转换,数据校验等需要关联小表进行处理,比如码表转换需要关联打标进行处理
 
 
时效的要求
 抽取数据、处理数据 、导入数据都需要时间,在满足不同的时效,应该如何处理 
                
        
 
相关资源:BOSS3.0规范-数据一致性管理机制总体规范分册