产品展示

华为云产品中心

基于丰富的华为云基础服务,提供适用于各行业的、预集成的产品与能力的组合,以满足企业ICT业务上云的需求

服务咨询
实时流计算服务 CS

大数据服务

  • 资源: 北京、上海、广州、贵阳、香港、曼谷、新加坡、利马、墨西哥城 …
  • 名称 实时流计算服务 CS
  • 配置
  • 渠道 华为云授权销售支持中心 · 呼和浩特市大旗网络有限公司
  • 数量 (库存:0)
  • 实时流计算服务 CS

什么是openLooKeng

华为开源openLooKeng引擎使用了业界的开源SQL引擎Presto来提供交互式查询分析基础能力,并继续在融合场景查询、跨数据中心/云、数据源扩展、性能、可靠性、安全性等方面发展,让数据治理、使用更简单华为云服务器

openLooKeng提供基于Bitmap Index、Bloom Filter以及Min-max Index等索引。通过在现有数据上创建索引,并且把索引结果存储在数据源外部,在查询计划编排时便利用索引信息过滤掉不匹配的文件,减少需要读取的数据规模,从而加速查询过程。

openLooKeng提供丰富多样的Cache,包括元数据cache、执行计划cache、ORC行数据cache等。通过这些多样的cache,可加速用户多次对同一SQL或者同一类型SQL的查询时延响应。

动态过滤是指是在运行时(run time)将join一侧表的过滤信息的结果应用到另一侧表的过滤器的优化方法,openLooKeng不仅提供了多种数据源的动态过滤优化特性,还将这一优化特性应用到了DataCenter Connector,从而加速不同场景关联查询的性能。

openLooKeng通过Connector框架连接到RDBMS等数据源时,由于RDBMS具有较强的计算能力,一般情况下将算子下推到数据源进行计算可以获取到更好的性能华为云计算。openLooKeng目前支持多种数据源的算子下推,包括Oracle、HANA等,特别地,针对DC Connector也实现了算子下推,从而实现了更快的查询时延响应。

Serverless DLI与自建Hadoop对比优势

华为云存储

DLI完全兼容Apache Spark、Apache Flink生态和接口,是集实时分析、离线分析、交互式分析为一体的Serverless大数据计算分析服务。线下应用可无缝平滑迁移上云,减少迁移工作量。采用批流融合高扩展性框架,为TB~EB级数据提供了更实时高效的多样性算力,可支撑更丰富的大数据处理需求。产品内核及架构深度优化,综合性能是传统MapReduce模型的百倍以上,SLA保障99.95%可用性。存算分离架构,存储资源和计算资源按需灵活配置,提高了资源利用率,降低了成本华为云存储

应用场景

DLI服务适用于海量日志分析、异构数据源联邦分析、大数据ETL处理。

海量日志分析

游戏运营数据分析游戏公司不同部门日常通过游戏数据分析平台,分析每日新增日志获取所需指标,通过数据来辅助决策。例如:运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等,了解游戏当前状态及后续响应活动措施;投放部门通过平台获取新增玩家、活跃玩家的渠道来源,来决定下一周期重点投放哪些平台。

优势

高效的Spark编程模型:使用Spark Streaming直接从DIS中获取数据,进行数据清理等预处理操作。只需编写处理逻辑,无需关心多线程模型。简单易用:直接使用标准SQL编写指标分析逻辑,无需关注背后复杂的分布式计算平台。按需计费:日志分析按实效性要求按周期进行调度,每次调度之间存在大量空闲期。DLI按需计费只在使用期间收费,成本较独占队列降低50%以上。建议搭配以下服务使用OBS,DIS,DWS,RDS



  • 网站应用
上一篇:可信智能计算服务 TICS2021-12-23
下一篇:表格存储服务 CloudTable2021-12-22
立即注册   享受8折优惠
立即注册