clikchouse的冷热数据分离

参考了

​​juicefs这篇​​

​​虾皮的这篇​​

冷热分离的优势：

1、业务查询通常查近期数据（7天-14天），早期数据查询概率较低

2、降低成本

这个冷热分离实操起来很简单了。

1、阿里云后台申请一个bucket（aws的s3等也支持）

2、安装juicefs工具，并初始化

3、在机器上挂载oss

plain text复制代码

4、修改clikchouse配置

编辑 /data/clickhouse/config.xml 增加 storage_configuration 片段(开启多磁盘的支持）如下：

重启clickhouse进程

重启完成后，查看下最新的storage_policies是否生效：

​

人工移动数据到jfs

5、添加定时任务

相关脚本：

purge.sh

archive.sh

可能遇到的问题：

redis 内存增长异常 （可以参考文章头部贴的那个虾皮的分享）