实时数仓Hologres(原交互式分析)
发布时间：2022-11-10 14:39:18 所属栏目：经营推广 来源：
导读： Hologres是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Ser
|
Hologres是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。 官网： 产品优势一站式实时数仓 专注实时场景数据实时写入、实时更新，写入即可见，与Flink原生集成，支持高吞吐、低延时、有模型的实时数仓开发，满足业务洞察实时性需求。 亚秒级交互式分析支持海量数据亚秒级交互式分析，无需预计算，支持多维分析、即席分析、探索式分析、MaxCompute加速分析，满足所见即所得分析体验。 统一数据服务出口支持多维分析、高性能点查、数据检索等多个场景，支持负载隔离，简化数据架构，统一数据访问接口，实践分析服务一体化(HSAP)。 开放生态标准SQL协议，无缝对接主流BI和SQL开发框架，无需应用重写。支持数据湖场景，支持JSON等半结构化数据，OSS、DLF简易入仓。 产品功能 构建企业级实时数据仓库与实时数据中台 多场景查询分析支持行存、列存等存储模式和多种类索引，同时满足简单查询、复杂查询、Ad Hoc查询等多样化的分析查询需求。 使用大规模并行处理架构，分布式处理SQL，高资源利用率，实现海量数据极速分析，分析服务一体化(Hybrid Serving/Analytical Processing, HSAP)最佳实践。 亚秒级交互式分析(OLAP)采用可扩展的MPP架构全并行计算，向量化算子发挥CPU极致算力，ORC格式列存优化索引，SSD存储优化IO，支持PB级数据亚秒级交互式分析体验。 高性能主键点查(Serving)基于行存表的主键索引和查询引擎的短路径优化，支持每秒数十万QPS高性能服务型点查，支持高吞吐更新，相比开源系统性能提升10倍以上。 联邦查询，外表加速(Federation)无缝对接MaxCompute，无需数据移动，支持外表透明加速BI访问，支持冷热数据关联分析，支持百万级每秒数据高速同步，支持OSS外表读写，简化数据入湖入仓。 云原生实时数仓针对实时数仓数据更新频繁，加工敏捷，分析灵活自助的特性，支持高并发实时写入与更新，支持事务隔离与原子性，数据写入即可查。 高吞吐实时写入与更新与Flink、Spark等计算框架原生集成，通过内置Connector，支持高通量数据实时写入与更新，支持源表、结果表、维度表多种场景，支持多流合并等复杂操作。 所见即所得的开发数据实时写入即可查询，支持DB、Schema、Table三级体系，支持视图View，原生支持Update/Delete，支持关联、嵌套、窗口等丰富表达能力，支持半结构JSON数据。 全链路事件驱动支持表更新事件的Binlog透出能力，通过Flink消费Hologres Binlog，实现数仓层次间全链路实时开发，满足分层治理的前提下，缩短数据加工端到端延迟。 企业级运维存储计算分离架构，计算存储独立弹性伸缩，支持计算负载、访问权限等细粒度管控要求，提供丰富的监控和告警，支持系统热升级，满足企业级安全可靠的运维需求。 数据安全支持细粒度访问控制策略，支持BYOK数据存储加密和数据脱敏，支持数据保护伞、IP白名单，支持RAM、STS及独立账号等多种认证体系，通过PCI-DSS安全认证。 负载隔离支持基于资源组的负载隔离，隔离不同业务需求，不同查询类型，写入和读取等资源竞争场景，保障系统的持续稳定。 高可靠设计多个计算实例组成高可靠部署模式，实例间共享存储，支持故障隔离和在线服务高可用，支持故障节点快速自动恢复。存储计算分离，资源独立扩展，无需本地盘，盘古三副本高可靠冗余存储。 生态与可扩展性兼容PostgreSQL生态，与大数据计算引擎及大数据智能研发平台DataWorks无缝打通。无需额外学习，即刻上手开发。 兼容PostgreSQL生态兼容PostgreSQL生态，提供JDBC/ODBC接口，轻松对接第三方ETL和BI工具，包括QuickBI、DataV、Tableau、帆软等。支持GIS空间数据分析。 DataWorks开发集成与DataWorks深度集成，提供图形化、智能化、一站式的数仓搭建和交互式分析服务工具，支持数据资产、数据血缘、数据实时同步、数据服务等企业级能力。 达摩院Proxima向量检索与机器学习平台PAI紧密结合，内置达摩院Proxima向量检索插件，支持在线实时特征存储、实时召回、向量检索。 应用场景 助力业务快速腾飞 电商：实时推荐和精准营销 基于流量数据的实时精准营销随着流量红利逐步消失、拉新成本飞速上升等问题，某跨境电商公司业务发展需要从原始的野蛮生长逐步转型，原传统Lambda架构复杂，无法支撑多维指标细粒度分析，不能达到精细化运营的目的。通过实时数仓升级，稳定支撑历年双11，节约成本近50%，提效300%，实现实时精准营销。 场景优势实时业务推荐以Hologres行存表替换HBase，Flink实时关联Hologres维表，实时生成用户标签，助力业务实时运营决策，实时用户触达和推荐。灵活多维分析标准SQL语法，充分支持精细化运营复杂多维分析诉求，数据加工延迟从3小时加速到实时，多表关联join秒级返回，流量匹配效率提升300%。成本节省50%Flink+Hologres一套架构支持多种业务场景，弹性扩缩容，运维更简单，有效节省资源近50%。 互联网社交：实时多维分析基于用户日志数据的实时多维分析某互联网社交公司原先通过自建ClickHouse进行实时多维分析，但随着业务增长，推荐业务在典型OLAP分析场景需要更加实时的调整策略和更新模型，以达到召回、精细化运营的目的。通过Hologres替换自建ClickHouse，构筑全链路精细化运营，满足ABTest场景下复杂的探索式分析。 场景优势实时更新效率高替换自建ClickHouse，Hologres有主键，可以精确去重，与Flink深度集成，支持高吞吐实时写入和更新。 轻松查询大量数据相比自建ClickHouse，可轻松对7天甚至15天数据，千亿级别数据实时多维分析，满足业务不同查询需求。 免运维Hologres存储计算分离，存储计算资源独立扩展，可轻松存15天数据，动态扩缩容免运维，只需要专注于业务开发。 物流：实时订单分析和实时监控某货运物流公司其大数据部门一直在探索建设新一代数仓，但一直没有取得很大突破，无法让数据发挥更大价值。通过Hologres建立的新一代实时数仓，替换原有ES、HBase等架构，解决千万级订单数据实时分析慢和上百万货运司机物流实时调度难的问题。 场景优势 订单数据灵活分析减少了维度退化的设计，支持千万订单数据实时多维分析交互式营销，提升业务查询灵活性和开发效率。 交付效率由几天提升到几分钟替换HBase，由Hologres提供在线服务的能力，实时监控物流和仓库异常，提高监控服务的稳定性和物流交付效率。 统一数据服务出口减少架构冗余实时和离线整合成一套架构，共同使用一份数据，统一数据服务出口，数据处理时效性提升，减少架构冗余。 互联网服务：数据中台和实时大屏某互联网服务公司原先通过Greenplum、EMR离线架构来搭建实时数仓，但数据更新时效性差，无法实时掌握业务动态。为实现全场景的用户增长需求，采用Flink+Hologres新一代实时数仓，基于业务日志数据构建实时大屏和数据中台系统，加速知识数据探索，促进业务快速发展。 场景优势 报表查询秒级响应完美支撑营收额、订单量等指标实时报表查询，满足企业运营中对于数据时效性越来越高的要求，秒级响应。 实时监控实时决策通过Hologres提供的高并发读写能力，关联设备状态表，可以实时更新状态，满足CRM系统对设备（充电宝）的实时查询和监控，并助力业务实时决策。 降低运维开销替换开源Hive、Impala等，精简业务架构，避免数据孤岛以及一致性、安全性等问题，降低了开发、运维维护开销。 客户案例 我们也在用MC-Hologres 小影科技数据开发专家 宋程 ：随着公司业务快速增长，多款矩阵产品上线，数据量也随之增多；导致查询系统磁盘使用率达95%以上，CPU使用率达100%，原平台已无法满足业务线的事件查询需求。为了更好地提供数据服务，我们选择了holo，实现了海量级数据存储及快速查询，可存放数据量从原先1个月扩展至1年，且查询效率提升89.17%。 二维火大数据负责人 芦丁：二维火是一家专注云计算餐饮软件系统研发和应用，拥有阿里云超过5000服务器，服务商户50w家。大数据团队通过阿里云大数据服务MaxCompute来对餐厅或零售店的进、销、存等数据进行H+1/T+1统计，并利用交互式分析Hologres满足对百亿级离线数据进行高并发、秒级的分析处理，提供近80多种不同类型的报表，包括：营业、订单、菜品、会员等报表，为店铺发展提供多维度分析透视和业务探索。 58快狗大数据实时计算负责人 陶王飞：我们基于Hologres所做的实时统一数据服务，大部分情况下，提供亚秒级的简单即席查询返回效率，大大的推动了业务的实时化变革，同时解决之前底层多种存储引擎带来的一系列问题。另外，针对一部分较为不常规的实时数据需求，借助Hologres的高性能，直接基于明细数据，减少了针对化开发、同时增强了灵活性、提升开发效率。 伊的家CTO刘松森：随着互联网社交电商的高速发展，实时处理海量订单数据和复杂的线上OLAP分析场景，成为较大的挑战。伊的家使用阿里云交互式分析引擎Hologres，快速构建平台大数据处理中台，帮助线上运营人员精准实时分析海量的用户和交易数据，快速调整运营活动决策，从而提高转化，支持上百并发的查询，成为支撑线上运营的数据利器。 （编辑：百客网 - 域百科网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐