ClickHouse 表引擎详解

2020-05-26 宋洋葱 宋洋葱 1 min
code
#ClickHouse #表引擎 #MergeTree

clickhouse最重要的部分大概是表格引擎，选择合适的引擎可以达到意想不到的效果。在上篇的clickhouse入门教程中使用了SummingMergeTree这个引擎，主要用来归档，求和。可以把多条数据，求和后只保存一条数据。占用空间小，且计算快。适用场景类似于时许数据库，把一段时间内的数据求和后存储。

上次SummingMergeTree实现了一个类似百度指数的功能，这次把要求改变一下，要求对多个关键词计算。比如：最近8小时同时谈到视频和直播的文章数量有多少。

创建表并使用MergeTree引擎,keywords为String数组，保存新闻分词后的所有关键词，数据根据dtime按天分区。最后三个字段分别为情绪、分类、评价。

CREATE TABLE indexsysdb.analytics \
(keywords Array(String),\
dtime DateTime('Asia/Shanghai'),\
source1 String,\
source2 String,\
mood Int8,\
category Int8,\
comment Int8)\
ENGINE = MergeTree() \
PARTITION BY toYYYYMMDD(dtime) \
ORDER BY (dtime,keywords,source1,source2,mood,category,comment);

插入测试数据

insert into analytics(keywords,dtime,source1,source2,mood,category,comment) values (['宋洋葱','clickhouse'],'2020-03-30 10:00:00','video','youtube',1,1,1);

clickhouse错误代码

  • 243：Cannot reserve 1.00 MiB，服务器磁盘空间不足，迁移存储路径
  • 62：一般为sql写错

数据迁移

#创建目录
mkdir -p /mnt/data2/chdata
#停止clickhouse
systemctl stop clickhouse-server
systemctl status clickhouse-server
# 迁移数据文件
mv /var/lib/clickhouse/* /mnt/data2/chdata/
# 修改配置文件
vim /etc/clickhouse-server/config.xml
# path --> /mnt/data2/chdata
# tmp_path --> /mnt/data2/chdata/tmp
# user_files_path
# format_schema_path
# 建议修改logger节点，把日志放到其他目录
# 重启
systemctl start clickhouse-server
systemctl status clickhouse-server

Related Posts

Comments