盘点 Greenplum 数据库的十大特点,你清新吗?

兼职招募 | 51CTO社区编辑添盟指南

01 盛开源代码

Greenplum数据库于2015年由Pivotal公司开源,遵命Apache Licence 2.0制定,官方网站为:

http://greenplum.org

代码托管在GitHub上,链接为:

https://github.com/greenplum-db/gpdb

盛开源码一方面能够为数据库用户和开发人员挑供Greenplum数据库源码级的实现参考,另一方面能够吸引更众的数据库开发者参与到Greenplum社区维护中。

02 高扩展性

Greenplum数据库采用大周围无共享架构,将众台服务器拼装成兴旺的计算平台,实现高效的海量并幸运算。Greenplum数据库能够声援1000个以上的集群,管理的数据周围从TB级到PB级,能够已足无数企业的数据处理需要。

03 高查询性能

Greenplum的高性能不光来自高效的并走处理框架,还有查询引擎的优化。Greenplum数据库除了声援基于PostgreSQL的查询优化之外,还特意开发了一个新的查询优化器ORCA。

ORCA是一款自顶向下的基于Cascades框架的查询优化器,现在已经成为企业版Greenplum数据库的默认优化器。相比基于PostgreSQL的查询优化器,ORCA查询优化器能使片面查询的性能升迁10~1000倍。

04 高可用

Greenplum挑供众级容错机制,确保整个编制的高可用性。Master节点议定Standby Master节点进走备份,每个数据节点的Primary Segment实例别离配置一个Mirror Segment实例行为备份,同时确保联相符组Primary Segment实例和Mirror Segment实例不在联相符物理机上,从而降矮由于宕机而导致数据丢失的风险。

05 高效资源管理

Greenplum挑供了高效的资源管理机制,根据用户的营业逻辑将资源相符理地分配给查询义务,避免查询义务因查询资源不能而得不到回响反映。

Greenplum资源管理主要包括对并发查询数目的局限,查询实走时内存、CPU资源行使的局限等。Greenplum数据库挑供了资源队列(Resource Queue)和资源组(Resource Group)两栽资源管理手段,清淡行使场景下采用默认配置即可。

06 众态存储

用户能够根据数据炎度或者访问模式的分别行使分别的存储手段,以获得更益的查询性能。用户能够为一张外依照必定的规则(比如日期、月份)创建分区外,一张外的各个子分区外能够行使分别的物理存储手段。

声援的存储手段包括:

走存储,数据以走的样式存储在数据页里,正当反复更新的查询; 列存储,数据以列的样式存储在数据页里,正当OLAP分析型查询; 外部外,数据保存在其他文件系中,如HDFS、S3,数据库只保留元数据新闻。 07 生态完善

Greenplum数据库拥有完善的SQL标准声援,包括SQL92、SQL99、SQL2003以及OLAP扩展,是对SQL标准声援最益的开源商用数据库编制之一。同时,由于Greenplum数据库基于PostgreSQL,所以也继承了PostgreSQL对于JDBC、ODBC、C、Python API等接口的声援。

08 高效数据添载

Greenplum还有一个特意微妙的功能——GPload并走添载数据,即批准数据从众个文件编制议定众个主机上的众个网卡添载数据,从而达到特意高的数据传输率。笔者曾经在3个节点的集群上并走添载50GB、2亿走记录的数据,仅用时90s。

此外,Greenplum数据库能够读取和写入众栽类型的外部数据源,包括文本文件、XML文件、S3平台文件、Gemfire、Web服务器以及Hadoop生态编制中的HDFS、Hive、HBase、Kafka、Spark等,同时声援数据压缩以及字符集间的自动转换。

09 高级数据分析功能

Greenplum数据库声援各栽过程化编程说话,包括PL/PostgreSQL、PL/R、PL/Python、PL/Java、PL/Perl等说话扩展。在高级数据分析方面,议定Greenplum数据库的MADlib扩展模块,用户能够很方便地行使MPP架构完善大周围并走分析。

10 良益的监控管理和运维体验

Greenplum数据库挑供基于Web的可视化工具—Greenplum Command Center(简称GPCC)。GPCC能够监控Greenplum数据库编制的性能、集群健康状态、查询实走及编制资源行使情况,如图2-4所示。

▲图2-4 Greenplum数据库资源监控中央界面

关于作者:王春波,资深架构师和数据仓库行家,现任上海启高新闻科技有限公司大数据架构师,Apache Doris和openGauss贡献者,Greenplum中文社区参与者。具有十众年的数据仓库、数据集市、数据中台项现在实战经验,对大数据主流技术架构、产品选型与解决方案有深入钻研,尤其拿手用优雅的SQL实现复杂的逻辑。

本文摘编自《高效行使Greenplum:入门、进阶与数据中台》,经出版方授权发布。(ISBN:9787111696490)

【编辑选举】

鸿蒙官方战略配相符共建——HarmonyOS技术社区 众而全,专且精,云数据库领导者是云云做的 阿里云数据库ACP认证上线 扩大造就云数据库人才 为什么数据库连接池不采用 IO 众路复用? 微柔SQL2019数据库镜像故障迁移群集alwaysON 优炫数据库发布新版本,十大功能深化变通益用


posted @ posted @ 22-01-13 01:35  admin  阅读量:

Powered by 1204手机基站地址-1204手机基地日本-1204手机基地 @2018 RSS地图 HTML地图

Copyright 站群 © 2013-2021 365建站器 版权所有