数据同步过程中需要考虑的问题

    xiaoxiao2025-10-29  3

    在数据同步过程中,需要对数据源进行一些分析。分析的过程中,要考虑数据的种类,要进行的处理,以及数据的时效性。

    数据的种类

    对于来的数据,可以分为以下几类:

    insert update delete 针对这三种的组合有两种: 只有insert的 insert/update/delete并存的

    对数据的处理

    对于要进入的目的库来说,有一下处理类型: 不处理针对单表进行处理,比如数据类型转换,数据校验等需要关联小表进行处理,比如码表转换需要关联打标进行处理

    时效的要求

    抽取数据、处理数据 、导入数据都需要时间,在满足不同的时效,应该如何处理 相关资源:BOSS3.0规范-数据一致性管理机制总体规范分册
    最新回复(0)