据介绍,cstore_fdw实现了 PostgreSQL 数据库的列式存储。列存储非常适合用于数据分析的场景,数据分析的场景下数据是批量加载的。
这个扩展使用了Optimized Row Columnar (ORC)数据存储格式,ORC改进了Facebook的RCFile格式,带来如下好处:
压缩:将内存和磁盘中数据大小削减到2到4倍。可以扩展以支持不同压缩算法。
列投影:只提取和查询相关的列数据。提升IO敏感查询的性能。
跳过索引:为行组存储最大最小统计值,并利用它们跳过无关的行。
其实官方自测性能也最多就提升了1倍,大多数在10%到50%之间(这里也有一个测试:http://blog.chinaunix.net/uid-20726500-id-4325901.html,不过LZ是根据实际生产场景进行的)。趁着假期对比各基于SQL的数据库平台,顺带测一下。
从https://github.com/citusdata/cstore_fdw下载最新版本,例如cstore_fdw v1.6.1,支持pg 11.5。
安装protobuf-c,如下:
yum install protobuf-c-devel
一开始某台测试机器因为不能访问外网,下载了protobuf-c-compiler和protobuf源码进行安装。好不容易安装好了,但是最后安装cstore_fdw本身时,遇到Unrecognized syntax identifier "proto3". This parser only recognizes "proto2"(这里有个未经验证的解决方法:https://blog.csdn.net/AmbitiousRuralDog/article/details/80774518),罢了,最后仍然回去使用yum安装了。
然后编译cstore_fdw即可。如下:
postgresql.conf中增加shared_preload_libraries 配置,如下:
知识兔shared_preload_libraries = 'cstore_fdw' # (change requires restart)
测试:
-- load extension first time after installCREATE EXTENSION cstore_fdw;-- create server objectCREATE SERVER cstore_server FOREIGN DATA WRAPPER cstore_fdw;
-- 创建测试表,具体可以参考github官网
-- 执行SQL(多表关联,只有一张大表是cstore,其他都是普通pg表)