分库分表及分布式搭建

    xiaoxiao2023-10-12  154

    sharding-jdbc jar包、mycat分库分表

    如何不停机分库分表

    双写迁移方案,修改写库的代码,同时写老库和分库分表的库,如果分库分表不存在直接写入,如果存在比较时间戳,躲开几台机器循环check数据是不是相当,到凌晨几乎没有数据进来,此时老库和新库数据一样了,切换到分库分表的新库

    分库分表的id问题

    雪花算法

    采用64位:首位位0,时间戳用41位保存,机房id5位,机器id5位,同一个机器同一个机房在采用剩余的位来计数+1

    系统搭建

    1000万用户

    高峰期QPS 8000,低峰期500

    会员后台管理系统4台(4个库,4个表)基础模块系统4台(8个库,4个表)流程画图系统8台(8个库,4个表)流程文件系统8台(8个库4个表)单点登陆2台活动审批4台(8个数据库,库4个表)订单4台(8个库,4个表)ES 5台,每台6核64G,集群总内存320G,日增量2000万条,大概500M,一月16G,目前运行了2个月,大概35G。3个索引(流程文件,流程图,文档),每个索引大概20Gmq 6台,三个partition,每个primary,一个replica,画流程图,生成流程文件和截图,短信业务,订单,日志zookeeper 3台,zab协议,广播模式,恢复模式redis 10台 机器,5台主实例,5台从实例,流程图,流程文件,每条大约10KB,常驻200万条,占用20G,不到50%,高峰期QPS8000,1000个走数据库ELK 5台nginx 3台合计:102台
    最新回复(0)