数据操作主要分为两大块:对redis进行更新。读redis:热数据基本都在redis利用消息队列,而canal正是模仿了mysql的slave数据库的备份请求,
技术整体思路。
mysql binlog增量订阅消费+消息队列+增量数据更新到redis
读redis:热数据基本都在redis
写mysql:增删改都是操作mysql
更新redis数据:mysq的数据操作binlog,来更新到redis
redis更新。
数据操作主要分为两大块:
一个是全量(将全部数据一次写入到redis)
一个是增量(实时更新)
这里说的是增量,指的是mysql的update、insert、delate变更数据。
读取binlog后分析 ,利用消息队列,推送更新各台的redis缓存数据。
这样一旦mysql中产生了新的写入、更新、删除等操作,就可以把binlog相关的消息推送至redis,redis再根据binlog中的记录,对redis进行更新。
其实这种机制,很类似mysql的主从备份机制,因为mysql的主备也是通过binlog来实现的数据一致性。
这里可以结合使用canal(阿里的一款开源框架),通过该框架可以对mysql的binlog进行订阅,而canal正是模仿了mysql的slave数据库的备份请求,使得redis的数据更新达到了相同的效果。